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本 书 提供 了 一 个 框架 ， 从 整体 上 介绍 与 大 数据 项 目 开发 相关 的 基本 概念 ， 帮 助 读者 评估 大 
数据 项 目 ， 理 解 成 功 的 现代 数据 项 目的 基本 要 素 。 全 书 共 8 章 ， 内 容 包 括 现代 数据 项 目的 主要 
类 型 、 生 命 周期 、 风 险 管理 、 接 口 设计 、 分 布 式 存储 系统 、 元 数据 管理 、 数 据 处 理 等 。 本 书 旨 
在 让 读者 厘清 思路 ， 顺 利 地 从 数据 项 目的 规划 阶段 走 到 执行 阶段 ， 实 现 健壮 、 可 维护 的 架构 和 
解决 方案 。 

本 书 适合 首席 信息 官 、 首 席 运 营 官 、 技 术 主管 、 系 统 架 构 师 及 相关 的 开发 人 员 阅 读 。 















































著 [ 美 ] 特 德 . 马 拉 斯 卡 [ 美 ] 乔纳森 . 塞 德 曼 
译 醇 命 灯 

责任 编辑 谢婷婷 

责任 印 制 ” 周 异 亮 

4 人 民 邮 电 出 版 社 出 版 发 行 ”北京 市 丰台 区 成 寿 寺 路 11 号 
邮编 ”100164 电子 邮件 ”315@ptpress.com.cn 

网 址 ”http://www.ptpress.com.cn 























北京 印刷 
多 开本 : 800 x1000 1/16 
印张 : 9.75 
字数 : 231 千 字 2020 年 1 月 第 1 版 
印 数 : 1 一 3 000 册 2020 年 1 月 北京 第 1 次 印刷 





著作 权 合 同 登 记号 ”图 字 : 01-2019-6607 号 


定价 : 59.00 元 
读者 服务 热线 : (010)51095183 转 600” 印 装 质 量 热 线 : (010)81055316 
反 盗 版 热线 : (010)81055315 
广告 经 营 许可 证 : 京东 工商 广 登 字 20170147 号 





版 权 声 明 


© 2018 by Ted Malaska, Jonathan Seidman. 


Simplified Chinese Edition, jointly published by O’Reilly Media, Inc. and Posts & Telecom 
Press, 2020. Authorized translation of the English edition, 2018 O’Reilly Media, Inc., the 


owner of all rights to publish and sell the same. 


All rights reserved including the rights of reproduction in whole or in part in any form. 





英文 原版 由 OReilly Media, Inc. 出 版 ，2018。 





简体 中 文 版 由 人 民 邮 电 出 版 社 出 版 ，2020。 英 文 原版 的 翻译 得 到 O’Reilly Media, Inc. 的 
授权 。 此 简体 中 文 版 的 出 版 和 销售 得 到 出 版 权 和 销售 权 的 所 有 者 一 一 O’Reilly Media, Inc. 
的 许可 。 


版 权 所 有 ， 未 得 书面 许可 ， 本 书 的 任何 部 分 和 全 部 不 得 以 任何 形式 重 表 











fs 
oo 








O'Reilly Media, Inc. 介 绍 
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既然 你 开始 阅读 本 书 ， 那 么 就 应 该 知道 ， 近 几 年 来 ， 数 据 管理 领域 发 生 了 巨大 的 变化 。 我 
们 已 经 看 到 了 从 第 三 方 专 有 解决 方案 到 新 的 开源 分 布 式 数据 系统 的 转变 。 通 常 使 用 “大 数 
据 ” 来 指 代 这 些 新 的 解决 方案 (我 们 发 现 这 个 词 的 指 代 作用 越 来 越 弱 )， 但 其 实 早期 的 很 
多 专 有 系统 也 采用 了 可 以 存储 和 处 理 大 量 数据 的 分 布 式 架构 。 尽 管 这 些 专 有 解决 方案 和 新 
的 开源 解决 方案 都 可 以 用 来 解决 很 多 相同 的 问题 ， 但 它们 之 间 存 在 一 些 明 显 的 差异 ， 这 些 
差异 促成 了 新 系统 的 发 展 。 这 些 差 异 不 仅 体现 在 开源 的 经 济 性 方面 ， 也 与 技术 的 发 展 有 
关 。 技 术 的 发 展 促进 了 新 系统 的 实现 ， 而 如 果 使 用 以 前 的 解决 方案 来 实现 这 些 系统 颇具 挑 
战 性 。 


















































随 着 这 些 系统 的 发 展 ， 出 现 了 很 多 相关 的 书 、 文 章 、 培 训 、 会 议 等 。 这 些 资源 可 以 帮助 你 
以 及 这 个 领域 的 其 他 从 业者 更 好 地 使 用 这 些 系 统 。 那 么 ， 为 什么 还 要 再 写 一 本 与 “大 数 
据 ” 相 关 的 书 呢 ? 我 们 想 说 的 是 : 不 要 因为 一 棵 树 而 错过 整 片 森林 。 这 些 资源 大 都 侧重 于 
底层 的 细节 ， 例 如 使 用 MapReduce 或 Spark 之 类 的 分 布 式 处 理 引擎 来 实现 应 用 程序 ， 或 者 
应 用 高 级 算法 来 分 析 数 据 。 除 此 之 外 ， 也 有 一 些 资源 关注 更 高 层次 的 架构 ， 例 如 由 本 书 作 
者 和 另外 两 位 作者 合 著 的 《Hadoop 应 用 架构 》'。 




















这 些 资源 缺乏 的 是 一 个 更 广阔 的 视野 ， 换 句 话 说， 需要 采取 哪些 步骤 来 确保 数据 项 目 能 够 
从 规划 阶段 成 功 地 走 到 执行 阶段 ? 要 成 功 地 实施 数据 项 目 ， 获 取 与 架构 和 组 件 系 统 相 关 的 
专业 知识 固然 重要 ， 但 其 他 的 一 些 考虑 因素 也 同样 重要 ， 而 这 些 因 素 往 往 在 探索 新 技术 的 
过 程 中 被 忽视 。 




















这 些 考 虑 因素 包括 : 


。 理解 问题 
。 选择 适合 用 例 的 软件 解决 方案 ; 
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注 1:《Hadoop 应 用 架构 》 由 人 民 邮 电 出 版 社 出 版 ， 详 见 http://ituring.cn/book/1710。 一 一 编者 注 








。 应 对 项 目 风 险 ， 
。 组 建 团队 ， 以 便 成 功 交 付 项 目 ， 
。 在 项 目 进行 过 程 中 ， 实 现 健壮 、 可 维护 的 架构 和 解决 方案 。 

















如 果 你 是 经 验 丰 富 的 软件 开发 人 员 ， 可 能 已 经 很 熟悉 这 些 因素 了 。 成 功 管理 现代 数据 项 目 
的 大 部 分 流程 与 管理 其 他 软件 开发 项 目 是 一 样 的 ， 只 是 在 开发 新 的 软件 系统 和 架构 时 ， 需 
要 一 些 新 的 知识 ， 还 需要 考虑 到 一 些 额 外 的 事项 。 例 如 ， 评 估 开 源 软 件 与 选择 专 有 解决 方 
案 有 很 大 的 不 同 。 我 们 的 目的 不 是 提供 又 一 本 有 关 软 件 项 目 管理 的 书 ， 而 是 指导 你 将 行 之 
有 效 的 项 目 管理 和 开发 实践 应 用 到 现代 数据 解决 方案 中 。 


.二 
读者 对 象 
本 书 主要 面向 数据 项 目的 决策 者 和 实施 者 ， 例 如 以 下 角色 

负责 高 层 决策 的 首席 信息 官 或 首席 技术 官 ， 

负责 交付 数据 项 目的 项 目 经 理 和 产品 经 理 ， 

负责 开发 数据 项 目的 首席 架构 师 、 技 术 主管 和 开发 人 员 ， 
再 次 强调 ， 我 们 不 打算 介绍 如 何 使 用 特定 组 件 来 实现 应 用 程序 ， 相 反 ， 我 们 会 提供 一 个 框 
架 ， 帮 助 你 理解 成 功 的 现代 数据 项 目 都 有 哪些 基本 要 素 。 我 们 希望 你 能 够 掌握 这 些 知 识 ， 
从 而 成 功 地 掌控 数据 项 目 ， 并 做 出 正确 的 项 目 决策 ， 让 项 目 为 用 户 带 来 真正 的 价值。 
























































Mey :二 :3 
阅读 方式 
本 书 的 每 一 章 都 会 涉及 一 个 与 数据 项 目 管理 相关 的 主题 。 你 不 必 从 头 到 尾 陪 读 整 本 书 ， 因 
为 大 多 数 章节 的 内 容 相 对 独立 。 不 过 ， 在 启动 数据 项 目 之 前 ， 先 陪读 第 1~3 章 将 大 有 神 益 。 


以 下 是 各 章 的 主要 内 容 。 





第 1 章 ， 数据 项 目的 主要 类 型 及 考虑 因素 ， 概 述 3 种 主要 的 数据 项 目 用 例 ， 并 针对 每 个 用 
例 列 举 需 要 注意 的 一 系列 考虑 因素 。 在 启动 新 的 数据 项 目 之 前 ， 最 好 先 阅读 这 一 章 。 
第 2 章 ， 评 估 和 选择 数据 管理 解决 方案 ， 为 在 分 布 式 开源 世界 中 选择 技术 解决 方案 提供 指导 。 
如 果 你 正 尝试 启动 数据 项 目 ， 或 者 刚刚 进入 这 个 领域 ， 这 一 章 对 于 你 来 说 也 会 非常 有 用 。 












































第 3 章 ， 数 据 项 目的 风险 管理 ， 讨 论 项 目 风险 以 及 如 何 管理 它们 。 风 险 管理 是 软件 项 目的 一 
项 重要 活动 ， 大 型 数据 项 目 存在 一 些 独特 的 风险 ， 要 成 功 实现 这 些 项 目 ， 需 要 管理 好 它们 。 

















第 4 章 ， 接 口 设计 ， 讨 论 系 统 接口 的 设计 和 实现 。 对 于 创建 可 维护 和 可 扩展 的 系统 来 说 ， 
定义 有 效 的 抽象 和 合约 至 关 重 要 。 因 此 ， 我 们 在 这 一 章 会 根据 自己 实现 大 型 数据 项 目的 经 


验 提 供 一 些 指 导 。 
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第 5 章 ， 分 布 式 存储 系统 ， 讨 论 分 布 式 存储 系统 。 数 据 存储 是 所 有 数据 系统 的 核心 组 件 ， 
这 一 章 将 列举 一 些 常 用 的 分 布 式 存储 系统 。 更 重要 的 是 ， 它 还 会 提供 一 个 用 于 评估 存储 系 
统 的 框架 。 








第 6 章 ， 企 业 元 数据 ， 讨 论 元 数据 管理 。 这 是 在 构建 数据 系统 时 的 另 一 个 至 关 重要 但 经 常 
被 忽视 的 方面 。 


第 7 章 ， 确 保 数据 完整 性 ， 讨 论 数 据 的 完整 性 问题 。 这 是 在 构建 数据 系统 时 的 另 一 个 需要 
注意 的 事项 ， 需 要 在 项 目 开 始 时 进行 规划 。 在 构建 支持 多 种 存储 格式 的 数据 系统 时 ， 确 保 
数据 的 完整 性 和 传承 关系 变 得 更 具 挑 战 性 。 








第 8 章 ， 数 据 处 理 ， 讨 论 可 用 于 处 理 分 布 式 数据 的 框架 。 在 构建 有 价值 的 数据 系统 时 ， 处 
理 和 分 析 数 据 的 能 力 是 另 一 个 重要 方面 。 与 第 5 章 类 似 ， 这 一 章 也 会 提供 一 个 框架 ， 用 于 
了 解 可 用 的 数据 处 理 系 统 以 及 评估 哪些 系统 适合 你 的 应 用 场景 。 

排版 约定 


本 书 使 用 下 列 排版 约定 。 


























。 黑体 字 
表示 新 术语 或 重点 强调 的 内 容 。 





。 等 宽 字 体 (constant width) 
表示 程序 片段 ， 以 及 正文 中 出 现 的 变量 、 函 数 名 、 数 据 库 、 数 据 类 型 、 环 境 变 量 、 语 句 
和 关键 字 等 。 





该 图 标 表 示 一 般 注 记 。 


使 用 代码 示例 


本 书 是 要 帮 你 完成 工作 的 。 一 般 来 说 ， 如 果 本 书 提供 了 示例 代码 ， 你 可 以 把 它 用 在 你 的 程 
序 或 文档 中 。 除 非 你 使 用 了 很 大 一 部 分 代码 ， 否 则 无 须 联系 我 们 获得 许可 。 比 如 ， 用 本 书 
的 几 个 代码 片段 写 一 个 程序 就 无 须 获 得 许可 ， 销 售 或 分 发 O'Reilly 图 书 的 示例 光盘 则 需要 
获得 许可 ， 引 用 本 书 中 的 示例 代码 回答 问题 无 须 获 得 许可 ， 将 书 中 大 量 的 代码 放 到 你 的 产 
品 文档 中 则 需要 获得 许可 。 














我 们 很 希望 但 并 不 强制 要 求 你 在 引用 本 书 内 容 时 加 上 引用 说 明 。 引 用 说 明 一 般 包 括 书 名 、 
作者 、 出 版 社 和 ISBN， 例 如 “Foundations for Architecting Data Solutions by Ted Malaska 
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and Jonathan Seidman (O’Reilly). Copyright 2018 Ted Malaska and Jonathan Seidman, 978-1- 
492-03874-0”。 














如 果 你 觉得 自己 对 示例 代码 的 用 法 超出 了 上 述 许可 的 范围 ， 欢 迎 你 通过 permissions@ 
oreilly.com 与 我 们 联系 。 


O'Reilly Safari 


Safari (之 前 称 作 Safari Books Online) 是 一 个 针对 企业 、 政 府 、 教 育 者 和 个 人 的 会 员 制 培 
训 和 参考 平台 。 


会 员 可 以 访问 来 自 250 多 家 出 版 商 的 上 千 种 图 书 、 培 训 视频 、 学 习 路 径 、 互 动 式 教 程 和 
精 选 播放 列表 ， 这 些 出 版 商 包 括 O'Reilly Media、Harvard Business Review、Prentice Hall 
Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que、Peachpit Press、 
Adobe、 Focal Press、 Cisco Press、 John Wiley & Sons、 Syngress、 Morgan Kaufmann、IBM 
Redbooks、 Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、 
Jones & Bartlett、Course Technology 等 。 


要 了 解 更 多 信息 ， 可 以 访问 http://www.oreilly.com/safari。 


联系 我 们 
请 把 对 本 书 的 评价 和 问题 发 给 出 版 社 。 


美 国 ; 
O’Reilly Media, Inc. 
1005 Gravenstein Highway North 
Sebastopol, CA 95472 


中 国 : 
北京 市 西城 区 西直门 南大 街 2 号 成 铭 大 厦 C 座 807 室 (100035) 
奥 莱 利 技术 咨询 (北京 ) 有 限 公司 


O’Reilly 的 每 一 本 书 都 有 专属 网 页 , 你 可 以 在 那儿 找到 本 书 的 相关 信息 ,包括 勘误 表 ”、 示 例 
代码 以 及 其 他 信息 。 本 书 的 网 站 地 址 是 : http://shop.oreilly.com/product/0636920161417.do。 
































对 于 本 书 的 评论 和 技术 性 问题 ， 请 发 送 电子 邮件 到 bookquestions@oreilly.com。 














要 了 解 更 多 O"Reilly 图 书 、 培 训 课程 、 会 议和 新 闻 的 信息 ， 请 访问 网 站 : http:/www.oreillycom。 














注 2: 本 书 中 文 版 勘误 ， 请 到 http://ituring.cn/book/2641 查看 和 提交 。 一 一 编者 注 
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我 们 在 Facebook 的 地 址 如 下 : http://facebook.com/oreilly。 
请 关注 我 们 的 Twitter 动态 : http://twitter.com/oreillymedia。 


我 们 的 YouTube 视频 地 址 如 下 : http:/www.youtube.comyoreillymedia。 
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如 有 果 致 谢 清 单 遗漏 了 哪 位 ， 我 们 次 表 娄 意 。 


电子 书 


扫描 如 下 二 维 码 ， 即 可 购买 本 书 电子 版 。 
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第 1 章 


数据 项 目的 主要 类 型 及 考虑 因素 











了 解 自己 要 构建 什么 ， 以 及 在 设计 可 靠 的 解决 方案 时 需要 考虑 哪些 主要 因素 ， 这 些 是 任何 
一 个 数据 项 目 取得 成 功 的 基本 条 件 。 我 们 根据 经 验 将 数据 项 目 分 为 3 种 类 型 ， 它 们 代表 了 
大 多 数 的 数据 项 目 。 这 种 分 类 方式 有 助 于 在 开始 实现 解决 方案 之 前 探究 需要 考虑 的 主要 因 
素 。 并 非 每 个 项 目 都 恰好 属于 其 中 一 个 类 别 ， 有 些 项 目 其 至 可 能 同属 多 个 类 别 。 但 我 们 认 
为 ， 这 些 项 目 类 型 提供 了 一 个 有 用 的 框架 ， 帮 你 更 好 地 了 解数 据 用 例 。 


本 章 首先 描述 主要 的 项 目 类 型 ， 然 后 介绍 实现 解决 方案 时 需要 考虑 的 主要 事项 ， 最 后 深入 
探讨 每 种 项 目 类 型 的 考虑 因素 。 


1.1 数据 项 目的 主要 类 型 
我 们 先 来 看 看 数据 项 目的 3 种 主要 类 型 。 
口 数据 管道 和 数据 暂 存 
可 以 将 这 类 项 目 视 为 提取 - 转换 - 加 载 型 项 目 ， 换 名 话说 ， 这 类 项 目 涉及 对 数据 集 的 收集 、 
暂 存 、 存 储 、 建 模 ， 等 等 。 实 际 上 ， 这 类 项 目 为 执行 后 续 的 数据 处 理 和 分 析 黄 定 了 基础 。 
口 数据 的 处 理 和 分 析 
这 类 项 目 最 终 会 提供 某 种 可 用 价值 ， 可 能 是 生成 报告 、 创 建 和 执行 机 器 学 习 模 型 ， 等 等 。 
口 应 用 程序 开发 
这 类 项 目 提供 能 够 实时 支持 业务 需求 的 数据 框架 ， 例 如 Web 应 用 程序 或 移动 应 用 程序 
的 数据 后 端 。 
































接 下 来 ， 本 章 将 着 重 关 注 每 个 项 目 类 型 的 以 下 方面 。 


口 主要 考虑 因素 
尽管 这 3 种 项 目 类 型 有 很 多 共同 点 ， 但 也 有 一 些 会 影响 架构 决策 和 优先 级 的 区 别 ， 而 架 
构 决 策 将 反 过 来 推动 项 目的 其 余部 分 。 在 深入 探讨 这 3 种 项 目 类 型 时 ， 我 们 将 首先 详细 
介绍 每 个 项 目 类 型 的 主要 考虑 因素 。 


口 风险 管理 
任何 数据 项 目 都 伴随 着 一 定 的 风险 。 我 们 将 讨论 与 特定 项 目 类 型 相关 的 潜在 风险 及 处 理 
方法 。 在 很 多 情况 下 ， 特 定 场景 的 风险 会 有 多 种 风险 管理 方法 ， 因 此 我 们 需要 从 不 同 的 
维度 进行 探讨 。 






































第 3 章 将 详细 介绍 风险 管理 。 


口 团队 组 成 
为 交付 不 同类 型 的 项 目 组 建 团队 时 ， 需 要 考虑 到 一 系列 因素 。 不 同类 型 的 项 目 所 需要 的 
技能 、 经 验 和 兴趣 是 不 一 样 的 ， 因 此 我 们 就 每 一 种 项 目 类 型 提供 一 些 用 于 组 建 团队 的 
建议 。 























口 安全 
安全 问题 可 能 是 所 有 项 目 都 会 涉及 的 一 个 重要 的 考虑 因素 。 安 全 是 一 个 非常 重要 和 宽泛 
的 主题 ， 所 涉及 的 内 容 可 以 单独 写成 一 本 书 。 事 实 上 ， 针 对 你 所 使 用 的 系统 ， 能 够 找到 
一 些 有 用 的 参考 资料 。 因 为 这 是 一 个 非常 重要 的 主题 ， 所 以 本 书 不 会 详细 介绍 ， 但 会 列 
出 在 项 目 过 程 中 需要 牢记 的 一 些 安全 事项 。 


对 于 某 些 开 源 数据 管理 系统 而 言 ， 安 全 措施 更 像 是 马后炮 。 这 是 因为 早期 用 户 更 关心 与 存 
储 和 处 理 大 量 数据 的 能 力 相 关 的 技术 问题 。 此 外 ， 这 些 系统 通常 部 署 在 内 部 网 络 中 ， 对 它 
们 的 访问 是 可 控 的 。 随 着 越 来 越 多 的 企业 部 署 这 些 解 决 方案 ， 他 们 也 越 来 越 关注 存储 在 这 
些 系统 中 的 数据 的 安全 性 和 私密 性 。 于 是 ， 这 些 项 目 和 供应 商 努 力 做 出 变更 和 改善 ， 以 便 
帮助 企业 更 好 地 使 用 这 些 系统 。 


在 为 项 目 安全 做 规划 时 ， 应 该 考虑 以 下 维度 。 


口 身份 验证 
确保 访问 系统 的 用 户 是 合法 的 。 任 何 成 熟 的 系统 都 应 该 支持 强身 份 验证 ， 这 通常 可 以 通 
过 Kerberos 或 轻 量 目录 访问 协议 等 方式 来 实现 。 
































口 授权 

在 确保 访问 用 户 的 合法 性 之 后 ， 还 需要 决定 他 们 可 以 访问 哪些 数据 。 成 熟 的 系统 需要 提 
供 不 同 粒度 的 访问 控制 。 例 如 ， 不 仅 可 以 提供 数据 库 表 级 别 的 访问 控制 ， 还 可 以 提供 列 
级 别 的 访问 控制 。 在 为 敏感 数据 构建 数据 架构 时 ， 有 具备 控制 哪些 用 户 和 用 户 组 可 以 访问 
哪些 特定 数据 的 能 力 是 非常 重要 的 。 


口 加 窗 
除了 控制 对 数据 的 访问 ， 出 于 安全 方面 的 考虑 ， 保 护 这 些 数据 免 受 恶意 用 户 和 恶意 入 侵 的 
影响 也 至 关 重 要 。 数 据 加 密 是 最 常用 的 保护 方法 。 我 们 需要 从 两 个 角度 来 考虑 这 个 问题 。 


。 静止 的 数据 是 指 已 经 进入 系统 并 保存 在 磁盘 上 的 数据 。 很 多 数据 管理 供应 商 为 此 提 
供 了 解决 方案 ， 并 将 它们 作为 管理 平台 的 一 部 分 。 一 些 第 三 方 供应 商 也 为 此 提供 了 
解决 方案 。 

。 传输 中 的 数据 是 指 在 系统 中 移动 的 数据 。 通 常 ， 供 应 商 或 项 目 会 为 此 提供 标准 的 加 
密 机 制 ， 例 如 传输 层 安全 协议 。 












































口 审计 
安全 问题 的 最 后 一 个 考量 维度 是 能 够 捕获 与 数据 相关 的 活动 ， 比 如 数据 的 传承 关系 、 谁 
在 访问 数据 ， 以 及 如 何 使 用 数据 ， 等 等 。 这 个 问题 仍然 需要 通过 供应 商 或 项 目 提 供 的 工 
具 来 解决 。 


如 果 安 全 对 项 目 非常 重要 ， 最 好 的 办 法 是 找到 可 以 解决 上 述 4 个 问题 的 方案 或 供应 商 。 
这 样 一 来 ， 就 可 以 减少 花 在 数据 安全 性 管理 方面 的 上 时间， 而 将 更 多 的 时 间 用 于 解决 其 他 
问题 。 


a pyran a 
1.2 ”数据 管道 和 数据 暂 存 
我 们 从 3 个 数据 项 目 类 型 中 范围 最 广 的 开始 讨论 ， 因 为 它 涉及 从 外 部 数据 源 到 目标 数据 源 
的 整个 路 径 ， 并 为 构建 数据 解决 方案 的 其 余部 分 商定 了 基础 。 


对 于 这 个 项 目 类 型 ， 在 设计 解决 方案 时 需要 考虑 以 下 因素 : 


。 针对 目标 数据 将 执行 哪些 类 型 的 查询 和 处 理 ， 
。 客户 的 数据 要 求 ， 
已 收集 数据 的 类 型 。 


考虑 到 这 些 数据 在 后 续 处 理 和 分 析 中 的 重要 性 ， 我 们 在 建 模 和 存储 这 些 数据 时 要 十 分 谨 
慎 ， 为 后 续 的 数据 访问 提供 便利 。 
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1.2.1 主要 考虑 因素 和 风险 管理 
对 于 数据 管道 和 数据 暂 存 项 目 ， 有 以 下 主要 考虑 因素 


。 源 数据 消费 ， 
。 数据 传递 保证 ， 
。 数据 的 管理 和 治理 ， 
。 延迟 和 传递 确认 ， 
目标 数据 的 访问 模式 。 
接 下 来 ,我们 将 逐个 介绍 这 些 考虑 因素 以 及 每 个 因素 的 属性 会 如 何 影响 项 目的 优先 级 。 


1. 源 数据 消费 
当 我 们 说 到 数据 源 时 ， 基 本 上 是 指 那 些 生 成 数据 的 系统 ， 它 们 为 我 们 构建 的 数据 解决 方案 
提供 必要 的 数据 。 数 据 源 可 以 是 和 手机、 传感器 、 应 用 程序 、 机 器 日 志 、 操 作 型 数据 库 和 事 
务 型 数据 库 ， 等 等 。 数 据 源 大 都 位 于 数据 管道 和 数据 暂 存 系统 之 外 。 实 际 上 ， 你 可 以 根据 
花费 在 与 数据 源 团队 合作 上 的 时 间 来 评估 系统 的 成 功 程度 。 数 据 工程 团队 在 数据 源 集成 上 
花费 的 时 间 通 常 与 数据 源 集 成 设计 的 优 劣 成 反比 。 
可 以 使 用 一 些 标准 的 方法 收集 源 数 据 。 
口 庶 入 式 代 码 
你 可 以 为 源 系 统 提 供 代 码 ， 将 它们 和 能 入 到 源 系统 中 ， 这 些 代码 知道 如 何 将 必要 的 数据 发 送 
到 你 的 数据 管道 中 。 
口 代理 
这 是 一 个 非常 靠近 数据 产 的 独立 系统 ， 大 多 数 情 况 下 与 数据 源 位 于 同一 设备 上 。 与 能 入 式 
代码 不 同 ， 代 理 是 作为 单独 的 进程 运行 的 ， 而 且 没 有 依赖 项 。 
口 接口 

这 是 最 轻 量 级 的 方式 ， 例 如 REST 和 用 于 接收 源 数据 的 WebSocket 端点 。 






























































当然 ， 除 了 这 些 ， 还 有 其 他 一 些 常用 的 数据 收集 方式 : 


。 第 三 方 数 据 集成 工具 ， 可 以 是 开源 的 ， 也 可 以 是 商用 的 ， 
。 批量 数据 摄取 工具 ， 例 如 Apache Sqoop 和 特定 项 目 提供 的 工具 (如 Hadoop 分 布 式 文件 
系统 提供 的 put 命令 ) 。 























你 可 以 根据 实际 的 用 例 选 择 工 具 ， 它 们 可 以 帮 你 更 好 地 构建 数据 管道 。 因 为 其 他 参考 资料 
以 及 供应 商 和 项 目的 文档 已 经 详细 介绍 了 它们 ， 所 以 本 书 不 再 蓝 述 。 


哪 种 方法 最 好 ? 答案 通常 取决 于 数据 来 源 。 但 在 某 些 情况 下 ， 可 能 几 种 方法 都 适用 ， 关 键 
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是 要 确保 正确 地 使 用 这 些 方法 。 因 此 ， 我 们 将 讨论 与 不 同 数据 收集 类 型 相关 的 一 些 注意 导 
项 。 先 从 租 入 式 代 码 开始 讲 。 


嵌入 式 代码 
在 使 用 嵌入 式 代码 收集 源 数据 时 ， 需 要 考虑 以 下 准则 。 


口 限制 编程 语言 的 使 用 
不 要 试图 支持 多 种 编程 语言 ， 而 应 该 先 使 用 一 种 语言 实现 ， 然 后 为 其 他 语言 提供 绑 定 。 
例如 ， 使 用 C、C++ 或 Java 实现 ， 然 后 为 需要 支持 的 其 他 语言 创建 乡 定 。 以 Kafka 为 
例 ，Kafka 的 核心 项 目 提供 了 Java 版 本 的 生产 者 和 消费 者 ， 而 其 他 语言 的 库 或 客户 端 需 
要 绑 定 到 Kafka 提供 的 库 ， 这 些 库 是 Kafka 发 行 包 的 一 部 分 。 


口 限制 依赖 项 的 使 用 
任何 内 入 式 代码 都 存在 潜在 的 库 冲 突 。 限 制 依赖 项 的 使 用 有 助 于 缓解 这 个 问题 。 


口 提供 可 见 性 
人 们 可 能 会 关注 嵌入 式 代码 中 究竟 包含 了 哪些 内 容 ， 所 以 需要 通过 开源 或 将 代码 放 在 公 
开 代 码 库 中 来 提供 嵌入 式 代码 的 可 见 性 ， 这 是 一 种 简单 而 安全 的 方式 。 用 户 可 以 看 到 所 
有 的 代码 ， 进 而 减轻 对 某 些 潜 在 问题 (如 内 存 使 用 、 网 络 使 用 等 ) 的 担忧 。 


口 运 维 问 题 
还 有 一 个 考虑 因素 是 咎 入 式 代码 可 能 会 在 生产 环境 中 造成 哪些 问题 。 确 保 你 已 经 考虑 到 
了 内 存 泄 漏 或 性 能 问题 ， 并 定义 了 用 于 解决 这 些 问 题 的 支持 模型 。 日 志和 代码 插 桩 有 助 
于 在 发 生 故 障 时 找 出 问题 。 


口 版 本 管理 
在 使 用 壬 入 式 代码 时 ， 你 可 能 无 法 控制 代码 的 更 新 。 这 个 时 候 ， 确 保 向 后 兼 
好 的 版 本 就 显得 非常 重要 。 
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并 定义 良 





台 








代理 
在 架构 中 使 用 代理 时 ， 请 注意 以 下 事项 。 
口 部 署 


与 架构 中 的 其 他 组 件 一 样 ， 请 确保 代理 的 部 署 是 经 过 测试 的 ， 并 且 是 可 重复 的 。 这 可 能 
需要 使 用 某 种 自动 化 工具 或 容器 。 
口 资源 使 用 情况 
确保 源 系 统 拥 有 足够 的 资源 来 支持 代理 进程 的 运行 ， 包 括 内 存 、CPU 等 。 
口 隔离 
虽然 代理 在 应 用 程序 外 部 运行 ， 但 仍然 需要 防止 代理 对 数据 收集 带 来 负面 影响 。 
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口 调试 
同样 ， 当 生产 环境 出 现 问题 时 ， 需 要 采取 调试 措施 ， 使 系统 恢复 正常 。 这 可 能 需要 记录 
日 志 、 进 行 代码 播 柱 ， 等 等 。 





接口 
以 下 是 使 用 接口 时 需要 注意 的 一 些 事项 。 
口 版 本 


尽管 没有 风 入 式 代码 那么 令 人 头疼 ， 但 在 使 用 接口 时 ， 版 本 控制 仍然 是 个 问题 。 请 确保 
从 一 开始 就 将 版 本 控制 作为 一 个 核心 考虑 因素 。 


口 性 能 
对 于 任何 源 数 据 收集 框架 来 说 ， 性 能 和 吞吐 量 都 是 至 关 重 要 的 。 此 外 ， 即 使 自己 设计 和 
实现 代码 来 保证 性 能 ， 你 也 会 发 现 ， 数 据 源 或 数据 接收 方 的 实现 可 能 并 不 理想 。 因 为 你 
可 能 无 法 控制 这 些 代码 ， 所 以 关键 是 要 能 够 在 出 现 性 能 问题 时 检测 到 并 发 出 警报 。 



































口 安全 

在 代理 模型 和 嵌入 式 模 型 中 ， 你 可 以 控制 代码 ， 但 在 接口 模型 中 ， 接 口 是 唯 一 的 入 口 屏 
障 。 关 键 是 在 提供 安全 性 的 同时 保持 接口 简单 。 对 于 这 种 情况 ， 有 多 种 模型 可 用 ， 例 如 
使 用 安全 令 牌 。 


2. 针对 源 数据 消费 的 风险 管理 

在 构建 数据 收集 系统 时 ， 你 面临 的 风险 与 构建 外 部 API (application program interface ， 应 
用 程序 接口 ) 面临 的 风险 是 一 样 的 ， 而 且 包 括 扩展 性 问题 。 下 面 列 出 需要 注意 的 一 些 主要 
问题 。 












































版 本 管理 

每 个 人 都 喜欢 能 够 正常 运行 的 API。 问 题 是 ， 我 们 很 少 能 够 富有 远见 地 设计 接口 ， 使 它们 
在 未 来 不 必 因 为 兼容 性 问题 而 变更 。 你 需要 一 个 强大 的 版 本 控制 策略 和 一 个 提供 向 后 兼容 
性 保证 的 计划 来 应 对 这 种 情况 ， 并 将 这 个 计划 作为 沟通 策略 的 一 部 分 。 


数据 源 故 障 带 来 的 影响 
需要 为 数据 源 系统 的 多 种 故障 场景 制定 应 对 方案 。 如 果 般 入 式 代码 是 数据 源 执行 过 程 的 
一 部 分 ， 那 么 代码 执行 失败 会 导致 整个 数据 收集 过 程 失败 。 如 果 你 没有 使 用 租 入 式 代 码 ， 
而 是 使 用 了 其 他 收集 机 制 (比如 代理 )， 那 么 当 它 们 出 现 故 障 时 ， 数 据 源 会 受到 怎样 的 影 
响 ? 数据 会 丢失 吗 ? 这 会 影响 应 用 程序 的 预期 正常 运行 时 间 吗 ? 















































为 了 回答 上 述 问题 ， 你 需要 了 解数 据 源 ， 找 到 更 多 的 解决 方案 并 与 他 人 交流 ， 而 且 要 清楚 
地 认识 到 ， 发 生 故 障 和 中 断 在 所 难免 。 这 样 一 来 ， 你 就 可 以 在 故障 发 生 时 提供 各 种 保护 。 


请 注意 ， 对 于 经 过 精心 设计 和 实现 的 数据 管道 来 说 ， 故 障 应 该 是 很 罕见 的 ， 但 仍然 不 可 避 
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免 。 所 以 ， 我 们 需要 为 数据 管道 提供 适当 的 机 制 ， 使 之 可 以 在 发 生 非 预期 事件 时 通知 我 
们 。 例 如 ， 监 控 吞 吐 量 ， 当 吞吐 量 指标 偏离 特定 的 阔 值 时 就 发 出 警报 。 我 们 的 想法 是 构建 
最 具 弹 性 的 数据 管道 ， 在 出 现 问题 时 知道 如 何 应 对 。 


另外 ， 可 以 著 虑 使 用 管道 副本 。 在 发 生 故 障 时 ， 如 果 一 个 管道 瘫痪 ， 另 一 个 管道 可 以 接 
管 。 这 不 只 是 节点 故障 保护 ， 拥 有 另 一 个 单独 的 管道 可 以 让 你 免 受难 以 预测 的 故障 的 影响 
(如 错误 配置 的 部 署 或 错误 的 构建 )。 理 想 情况 下 ， 在 设计 数据 管道 时 ， 应 该 做 到 像 部 署 
Web 应 用 程序 那样 部 署 数据 管道 。 


避免 不 良 数据 源 的 影响 

在 构建 数据 摄取 系统 时 ， 数 据 源 可 能 会 滥用 你 的 API、 发 送 过 多 的 数据 ， 等 等 。 为 
都 有 可 能 对 你 的 系统 产生 负面 影响 。 在 设计 和 实现 系统 时 ， 需 要 采取 措施 来 防范 这 些 风 
险 。 请 考虑 以 下 这 些 注意 事项 。 


| 


















































口 节 流 
这 将 限制 数据 源 发 送 给 你 的 记录 数量 。 当 数据 源 向 你 发 送 更 多 的 记录 时 ， 你 的 系统 可 
以 延长 用 于 接收 这 些 数 据 的 时 间 。 另 外 ， 你 也 可 以 发 出 消息 告知 数据 源 建立 了 太 多 的 


连接 。 


口 丢弃 
如 有 果 你 的 系统 不 需要 提供 数据 保证 ， 那 么 可 以 在 发 生 过 载 或 无 法 处 理 输入 数据 的 情况 下 
将 消息 丢弃 。 不 过 ， 一旦 这 样 做 了 ， 会 给 入 们 留 下 你 的 系统 会 丢失 数据 的 印象 ， 降 低 系 
统 的 整体 可 信 度 。 但 在 大 多 数 情 况 下 ， 只 要 实时 地 向 数据 源 告知 发 生 了 数据 丢弃 ， 让 客 
户 端 采取 适当 的 行动 ， 那 么 丢弃 数据 或 许 是 可 以 接受 的 。 简 单 地 说 ， 在 采用 丢弃 数据 的 
方案 时 ， 请 确保 客户 端 知 道 发 生 了 什么 以 及 如 何 应 对 。 

3. 数据 传递 保证 


在 规划 数据 管道 时 ， 你 需要 向 数据 使 用 者 做 出 很 多 承诺 。 对 于 不 同 的 数据 收集 系统 ， 可 以 
提供 不 同 级 别 的 数据 传递 保证 。 


口 尽力 而 为 
数据 源 向 你 发 送 一 条 消息 ， 你 尝试 传递 这 条 消息 ， 但 可 能 
获 每 一 个 事件 ， 那 么 这 种 情况 是 可 以 接受 的 。 例 如 ， 通 过 
量 指标 ， 但 不 要 求 整体 的 准确 性 。 

口 至 少 一 次 
数据 源 向 你 发 送 一 条 消息 ， 你 复制 了 这 条 消息 ， 不 希望 发 生 数 据 丢失 。 这 可 能 是 最 常见 
的 情况 。 虽 然 它 增加 了 额外 的 复杂 性 ， 但 你 在 大 多 数 情况 下 可 能 希望 捕获 到 所 有 的 事 





























会 发 生 数 据 丢 失 。 如 果 不 必 捕 
处 理 传 入 的 数据 来 捕获 聚合 度 















































件 。 请 注意 ， 这 可 能 需要 在 管道 中 添加 数据 去 重 的 逻辑 ， 但 在 大 多 数 情况 下 它 比 下 面 摘 
述 的 “恰好 一 次 ”传递 保证 更 容易 、 成 本 更 低 。 
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口 恰好 一 次 
数据 管道 收 到 一 条 消息 ， 你 确保 处 理 了 这 条 消息 ， 并 且 不 会 重复 处 理 。 如 前 所 述 ， 这 是 
成 本 最 高 的 一 种 保证 机 制 ， 而 且 从 技术 角度 来 讲 也 是 最 复杂 的 。 现 在 有 很 多 系统 都 承诺 
提供 这 个 功能 ， 但 你 应 该 仔细 考虑 是 否 有 必要 使 用 ， 或 者 是 否 可 以 采用 其 他 现成 的 机 制 
来 处 理 潜 在 的 数据 重复 问题 。 
在 大 多 数 情 况 下 ， 至 少 一 次 传递 保证 已 经 足够 了 ， 因 为 在 摄取 数据 后 进行 数据 去 重 的 成 本 
通常 不 会 很 高 。 但 无 论 要 达到 哪 一 种 保证 级 别 ， 你 都 应 该 计划 好 ， 将 其 记录 下 来 并 传达 给 
系统 用 户 。 
4. 数据 的 管理 和 治理 
如 今 ， 强 大 的 数据 收集 系统 必须 具备 两 个 关键 特性 。 
口 数据 模型 管理 
有 能 力 修改 或 添加 数据 模型 。 
口 数据 治理 
有 能 力 了 解 收集 到 的 数据 以 及 滥用 和 泄露 数据 可 能 带 来 的 风险 。 











第 6 章 将 介绍 元 数据 管理 ， 到 时 候 将 详细 讨论 与 数据 的 管理 和 治理 相关 的 内 
容 。 现 在 ， 我 们 先 讨 论 它 的 范围 和 目标 。 











数据 模型 管理 

需要 通过 适当 的 机 制 来 捕获 系统 的 数据 模型 。 在 理想 情况 下 ， 数 据 管道 用 户 不 需要 依赖 你 
的 团队 来 添加 新 数据 源 或 更 改 现 有 数据 源 。Kafka 的 Confluent Schema Registry 就 是 这 方面 
的 一 个 例子 ， 它 可 用 于 存储 schema， 包 括 多 个 版 本 的 schema。 这 为 不 同 版 本 的 应 用 程序 
提供 了 向 后 兼容 性 支持 。 




















声明 schema 只 是 这 个 问题 的 一 部 分 ， 你 可 能 还 需要 以 下 几 种 机 制 。 


口 注册 
新 数据 源 及 其 schema 的 定义 。 
口 路 由 


数据 应 该 被 发 送 到 哪个 主题 、 处 理 系统 和 存储 系统 。 





口 采样 
这 是 对 路 由 的 扩展 ， 可 以 删除 部 分 数据 ， 非 常 适 用 于 暂 存 环境 和 测试 。 





口 访问 控制 
谁 可 以 访问 数据 流 之 外 的 持久 化 数据 。 


口 捕获 元 数据 

















通过 字段 添加 元 数据 。 
在 更 高 级 的 系统 中 ， 你 还 可 以 找到 下 面 这 些 额 外 的 功能 。 
口 转换 逻辑 


在 数据 进入 暂 存 区域 之 前 ， 对 数据 进行 自 定义 转换 。 


口 聚合 和 会 话 
知道 如 何 基于 数据 窗口 执行 操作 的 转换 逻辑 。 


治理 问题 

随 着 需要 收集 、 存 储 和 分 析 的 数据 越 来 越 多 ， 对 数据 保护 和 隐私 等 问题 的 关注 也 在 日 益 增 
长 。 因 此 ， 你 需要 制定 计划 以 响应 数据 治理 法 规 ， 并 防止 外 部 攻击 、 内 部 滥用 等 行为 。 你 
需要 确保 对 所 收集 的 数据 有 清晰 的 了 解 和 归 类 。 第 6 章 将 继续 探讨 这 个 话题 。 


5. 延迟 和 传递 确认 

与 实时 系统 不 同 ， 数 据 管道 在 延迟 和 传递 确认 方面 通常 有 很 大 的 回旋 余地 。 不 过 ， 在 你 确 
定 系 统 期 望 时 ， 数 据 管道 的 延迟 和 传递 确认 是 非常 重要 的 两 个 方面 。 接 下 来 让 我 们 定义 这 
两 个 术语 ， 并 看 看 需要 为 此 做 些 什么 。 


延迟 

延迟 是 指 从 数据 源 发 布 信息 开始 ， 直 到 给 定 处 理 层 或 暂 存 系统 能 够 访问 到 信息 所 花费 的 时 
间 。 为 了 更 好 地 说 明 这 一 点 ， 我 们 使 用 流 处 理应 用 程序 作为 示例 。 假 设 数据 通过 Kafka 传 
入 ， 然 后 由 Flink 或 Spark Streaming 消费 。 应 用 程序 可 能 会 根据 处 理 结果 向 下 游 系统 发 送 
警报 。 我 们 可 以 将 延迟 量化 为 多 个 部 分 ， 如 图 1-1 所 示 。 


流 处 理应 用 程序 
触发 器 
C 
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图 1-1: 量化 系统 延迟 
让 我 们 来 仔细 看 看 每 个 部 分 。 


。 A: 数据 从 源头 到 Kafka 所 花费 的 时 间 。 这 段 时 间 就 是 我 们 所 说 的 用 于 缓冲 和 网 络 传输 
的 时 间 。 但 可 能 存在 一 种 己 入 式 架 构 ， 其 中 包括 负载 均衡 器 、 微 服务 或 其 他 可 能 导致 延 
迟 增加 的 节点 。 


























测 
\D 
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。 B: 经 过 Kafka 所 花费 的 时 间 。 这 取决 于 很 多 因素 ， 例 如 Kafka 的 配置 和 消费 者 的 配置 。 

。 C: 从 处 理 引 擎 收 到 事件 开始 ， 直 到 它 触发 动作 所 需要 的 时 间 。 有 些 处 理 引擎 基于 一 定 
的 时 间 间 隔 触发 动作 ， 比 如 Spark Streaming; 有 些 处 理 引 警 则 可 以 提供 较 低 的 延迟 ， 比 
如 Flink。 当 然 ， 这 也 受到 配置 和 使 用 场景 的 影响 。 

。 D: 数据 进入 Kafka， 并 从 Kafka 中 读 出 。 这 个 部 分 的 延迟 取决 于 生产 者 和 消费 者 的 缓 

中 及 轮 询 配置 。 


传递 确认 
传递 确认 可 以 让 数据 源 知 道 数据 已 经 到 达 数 据 管 道 的 哪个 阶段 ， 甚 至 可 以 让 数据 源 知道 数 
据 是 否 已 到 达 暂 存 区 域 。 以 下 是 在 设计 传递 确认 机 制 时 的 一 些 指 导 原 则 。 


口 你 真 的 需要 传递 确认 机 制 吗 ? 
传递 确认 的 好 处 是 在 发 生 故障 时 〈 例 如 网 络 问题 或 硬件 故障 ) ， 数 据 源 可 以 重新 发 送 数 
据 。 因 为 无 法 避免 故障 ， 所 以 传递 确认 机 制 可 能 适用 于 大 多 数 情况 。 但 如 果 这 不 是 必需 
的 ， 那 么 在 实现 数据 管道 时 就 可 以 节省 很 多 时 间 ， 并 降低 系统 的 复杂 性 。 因 此 ， 请 务必 
确认 真 的 需要 传递 确认 机 制 。 


口 如 何 进行 传递 确认 ? 
如 果 你 确实 需要 进行 传递 确认 ， 那 么 就 需要 在 设计 系统 时 考虑 到 它 。 这 包括 选择 具备 确 
认 功 能 的 软件 解决 方案 ， 并 将 相关 逻辑 添加 到 数据 管道 的 自 定义 代码 中 。 因 为 提供 传递 
确认 机 制 会 带 来 一 定 的 复杂 性 ， 所 以 应 该 尽 可 能 使 用 具备 这 项 功能 的 现成 解决 方案 。 


6. 针对 数据 传递 的 风险 管理 
数据 传递 存在 一 定 的 风险 。 你 希望 能 够 为 用 户 提供 一 个 可 以 满足 他 们 一 切 需求 的 系统 ， 但 
在 现实 当中 ， 总 是 会 不 可 避免 地 出 现 一 些 错误 ， 并 且 在 某 些 时 候 ， 你 的 保证 可 能 会 失效 。 


有 两 种 方法 可 用 来 应 对 这 种 风险 。 第 一 种 方法 是 构建 整洁 的 架构 ， 将 其 分 享 给 干系 人 ， 向 
他 们 征求 有 助 于 提升 系统 稳定 性 的 意见 。 此 外 ， 适 当 的 度量 指标 和 日 志 有 助 于 验证 实现 广 
案 是 否 满足 了 需求 。 

第 二 种 方法 是 提供 一 种 机 制 ， 以 便 在 发 生 传递 确认 丢失 时 能 够 通知 用 户 和 数据 源 ， 并 提供 
做 出 调整 或 切换 到 备份 系统 的 时 间 。 

7. 目标 数据 的 访问 模式 

数据 管道 的 最 后 一 个 关注 点 是 目标 数据 的 访问 模式 。 这 里 将 重点 介绍 数据 访问 的 类 型 以 及 
在 定义 数据 管道 时 需要 考虑 到 的 需求。 

可 以 将 问题 分 为 两 类 : 数据 访问 和 数据 保留 。 我 们 先 来 看 看 数据 访问 和 最 为 重要 的 几 种 作 
业 类 型 
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。 执行 大 型 扫描 和 聚合 的 批 处 理 作业 ， 
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。 执行 大 型 扫描 的 流 处 理 作业 ， 
点 数据 请 求 ， 例 如 随机 访问 ， 
。 搜索 式 访问 。 


执行 大 型 扫描 的 批 处 理 作业 
扫描 大 块 数据 的 批 处 理 作 业 是 研究 和 分 析 数 据 的 核心 工作 负载 。 这 一 类 别 包含 4 种 典型 的 
工作 负载 。 为 了 更 好 地 理解 这 个 概念 ， 我 们 以 现实 生活 中 的 连锁 超市 作为 例子 。 


口 分 析 SQL 
使 用 SQL， 并 按照 邮政 编码 和 日 期 汇总 已 销售 的 商品 。 通 常 ， 这 类 报告 需要 每 天 运行 ， 
并 提供 给 公司 内 部 的 领导 层 看 。 




















口 会 话 化 
使 用 SQL 或 Apache Spark 之 类 的 工具 来 会 话 化 客户 的 购买 习惯 ， 例 如 ， 更 好 地 预测 他 
们 的 购物 需求 和 模式 ， 并 提醒 可 能 存在 的 风险 〈 例 如 客户 流失 )。 


口 模型 训练 
连锁 超市 的 商品 推荐 系统 可 能 会 用 机 器 学 习 模型 分 析 顾 客 的 购物 习惯 ， 并 根据 顾客 的 偏 
好 提供 商品 建议 。 


口 场景 预测 评估 
在 连锁 超市 示例 中 ， 我 们 需要 针对 如 何 给 商店 里 的 货架 补 货 制 定 一 个 策略 。 可 以 根据 历 
史 数 据 来 判断 采购 模式 是 否 有 效 。 


本 例 的 关键 是 需要 很 长 一 段 时 间 内 的 数据 ， 我 们 也 希望 能 够 为 数据 分 析 提 供 足 够 的 处 理 能 
力 ， 并 为 进一步 行动 提供 参考 。 


执行 大 型 扫描 的 流 处 理 作业 

批 处 理 作 业 与 流 处 理 作业 的 区 别 主要 体现 在 两 个 方面 : 作业 执行 时 间 和 渐进 式 工作 负载 的 
概念 。 在 时 间 方 面 ， 流 处 理 作 业 通 常 被 认为 只 需 几 之 秒 到 几 分 ， 而 批 处 理 作业 通常 需要 儿 
分 到 几 小 时 ， 其 至 是 几 天 。 渐 进 式 概 念 的 差异 可 能 更 明显 ， 因 为 这 表现 在 它们 的 输出 结果 
不 同 。 让 我 们 来 看 看 以 下 4 种 作业 类 型 以 及 渐进 式 处 理 是 如 何 影 响 它 们 的 。 


口 分 析 SQL 
通过 采用 流 处 理 作 业 ， 能 以 更 短 的 时 间 间 隔 (如 秒 或 分 ) 更 新 汇总 报告 ， 从 而 几 近 实时 
地 看 到 变更 ， 加 快 响应 速度 。 此 外 ， 在 理想 情况 下 ， 流 处 理 的 成 本 并 不 会 比 批 处 理 高 太 
多 ， 因 为 只 处 理 增 量 数据 ， 而 不 是 重新 处 理 旧 数据 。 


口 会 话 化 
与 汇总 报告 一 样 ， 流 处 理 作业 中 的 会 话 化 也 以 较 小 的 时 间 间 隔 进 行 ， 从 而 产生 更 多 实时 
的 结果 。 在 连锁 超市 示例 中 ， 我 们 使 用 会 话 化 来 分 析 顾 客 放 进 购物 车 的 商品 ， 以 此 来 预 




























































































































































































数据 项 目的 主要 类 型 及 考虑 因素 | 11 





测 他 们 可 能 会 为 晚餐 购买 哪些 食物 。 有 了 这 些 信息 ， 就 可 以 为 顾客 推荐 新 上 架 的 甜点 。 
口 模型 训练 

并 非 所 有 的 模型 都 适合 进行 实时 训练 。 不 过 ， 可 以 实时 运行 训练 好 的 模型 ， 从 而 为 业务 

决策 提供 实时 的 可 参考 结果 。 








口 场景 预测 评估 
如 今 ， 我 们 借助 技术 来 实时 地 做 出 决策 。 我 们 还 需要 对 决策 进行 实时 的 评估 ， 这 样 才 
能 知道 是 否 需 要 对 决策 做 出 调整 。 随 着 决策 制定 越 来 越 自动 化 ， 需 要 将 其 与 实时 评估 
相 结 合 


日 o 








批 处 理 需要 大 量 的 存储 空间 和 大 规模 的 计算 ， 而 流 处 理 只 需要 足够 的 计算 、 存 储 空间 和 内 
存 空间 来 处 理 给 定时 间 窗 口内 的 数据 。 





























第 8 章 将 详细 讨论 流 处 理 。 


点 数据 请 求 
到 目前 为 止 ， 我 们 已 经 讨论 了 一 些 针 对 给 定 表 、 分 区 或 流 的 访问 模式 。 点 数据 请 求 是 指 在 
高 并 发 的 情况 下 快速 获取 特定 的 记录 或 数据 点 。 


请 想象 一 下 连锁 超市 示例 的 以 下 这 些 场景 : 


。 在 指定 的 商店 库存 中 查找 指定 商品 ; 

。 查询 运送 给 指定 商店 的 商品 位 置 ， 

。 查询 指定 商店 的 商品 供应 链 情况 ; 

。 可 以 随时 查询 事件 ， 并 且 能 够 向 前 和 向 后 扫描 ， 以 便 了 解 这 些 事件 如 何 影 响 销 售 。 


第 5 章 将 探讨 与 存储 相关 的 内 容 ， 并 介绍 一 些 存储 解决 方案 ， 这 些 解 决 方案 非常 适用 于 上 
述 场景 。 在 本 章 ， 我 们 只 需要 知道 这 种 访问 模式 与 及 时 获取 实体 的 事件 有 关 ， 并 且 能 够 实 
时 地 获取 这 些 信息 。 


搜索 式 访问 

最 后 一 种 访问 模式 ， 即 最 常见 的 搜索 式 数 据 访问 。 这 种 访问 模式 要 求 速度 要 快 ， 同 时 还 要 
为 查询 提供 灵活 性 。 在 连锁 超市 示例 中 ， 你 可 能 希望 尽快 找 出 库存 中 有 哪些 种 类 的 蔬菜 ， 
或 者 来 自 某 个 受 污染 农场 的 所 有 商品 。 




















第 5 章 将 详细 地 讨论 针对 这 些 场景 的 解决 方案 。 





8. 针对 访问 模式 的 风险 管理 
之 前 的 内 容 关 注 的 是 数据 源 和 数据 管道 的 创建 ， 以 便 让 系统 用 户 能 够 使 用 收集 到 的 数据 。 


接 下 来 探讨 如 何 为 数据 用 户 提供 

















数据 。 数 据 用 户 是 指 另 一 类 完全 不 同 的 干系 人 。 需 要 考 虐 





的 一 个 问题 是 ， 访 问 模 式 可 能 会 因为 有 更 大 的 用 户 群 试图 从 数据 中 获取 价值 而 更 快 地 发 生 


改变 。 


下 
































这 就 是 将 访问 模式 分 为 4 种 类 型 的 原因 。 如 果 你 能 够 找到 一 些 核 心 访问 模式 ， 并 大 
规模 使 用 它们 ， 就 可 以 将 它们 扩展 到 


更 多 的 场景 























下 这 些 实践 可 以 帮助 你 更 好 地 管理 


访问 模式 方面 存在 的 风险 。 











。 确保 用 户 使 用 正确 的 访问 模式 。 
。 确保 存储 系统 具备 可 用 性 和 弹性 。 
。 验证 系统 是 否 可 以 满足 用 户 的 需求 。 如 果 他 们 需要 将 你 的 数据 复制 到 另 一 个 系统 来 完成 
工作 ， 那 说 明 你 的 系统 做 得 不 够 好 。 


1.2.2 ”数据 管道 和 数据 暂 存 团队 的 人 员 组 成 
我 们 已 经 介绍 了 与 数据 管道 和 数据 暂 存 有 关 的 主要 性 虑 因素 和 风险 ， 你 可 能 还 想 了 解 这 些 





口 


口 


口 


口 











服务 和 支持 工程 师 








团队 需要 哪些 类 型 的 工作 角色 。 以 下 是 一 些 可 能 存在 于 这 些 团队 中 的 工作 角色 。 











服务 和 支持 工程 师 的 任务 是 与 用 户 合 作 ， 包 括 源 数据 系统 的 干系 人 、 访 问 系统 数据 的 用 
户 ， 等 等 。 这 些 工 程 师 的 职责 如 下 : 


。 高 效 地 使 用 系统 ; 





。 为 系统 用 户 寻 找 好 的 应 用 场景 ， 


与 团队 合作 解决 用 户 遇 到 的 问 
。 为 用 户 提供 建议 ， 
。 帮助 用 户 取 得 成 功 。 








系统 工程 师 或 系统 管理 员 


题 ， 


系统 工程 师 或 系统 管理 员 病 迷 于 解决 系统 的 运行 时 间 、 延 迟 、 效 率 、 故 障 和 数据 完整 性 
等 方面 的 问题 。 他 们 不 需要 太 在 意 系 统 的 实际 使 用 情况 ， 主 要 关注 系统 的 可 靠 性 和 性 能 。 

















数据 工程 师 





数据 工程 师 非 常 了 解 系统 中 的 数据 和 存储 类 型 。 他 们 的 主要 工作 是 确保 用 户 能 够 正确 使 
用 系统 提供 的 数据 ， 以 及 确保 大 数据 解决 方案 用 在 了 正确 的 地 方 。 他 们 是 数据 存储 和 数 





据 处 理 方面 的 专家 。 
数据 架构 师 

















数据 架构 师 是 数据 建 模 方面 的 专家 ， 负 责 定义 系统 数据 的 结构 。 在 某 些 情况 下 ， 团 队 中 
的 数据 工程 师 也 可 以 承担 这 个 角色 。 














数据 项 目的 主要 类 型 及 考虑 因素 | 13 





1.3 数据 的 处 理 和 分 析 


数据 的 处 理 和 分 析 是 指 对 数据 管道 和 数据 暂 存 项 目 中 的 数据 进行 转换 和 分 析 ， 以 提取 有 用 
的 价值 。 之 前 我 们 已 经 讨论 过 一 些 有 关 数 据 转换 和 价值 创造 的 内 容 。 不 过 ， 之 前 的 讨论 主 
要 是 关于 如 何 为 数据 处 理 和 分 析 应 用 程序 准备 数据 。 在 本 市 中 ， 我 们 将 深入 探讨 这 些 转 换 
和 分 析 数 据 的 应 用 场景 。 
































1.3.1 主要 考虑 因素 和 风险 管理 
在 评估 这 类 应 用 场景 时 ， 我 们 主要 关注 以 下 事项 : 





。 定义 要 解决 的 问题 ， 
。 通过 处 理 和 分 析 数 据 来 解决 问题 。 


简单 地 说 ， 就 是 我 们 想 要 做 什么 、 如 何 实现 我 们 的 目标 、 如 何 让 这 个 过 程 可 重复 ， 以 及 如 
可 量化 它 的 价值 。 


1. 定义 要 解决 的 问题 

尔 可 能 已 经 知道 ， 很 多 问题 如 果 可 以 得 到 解决 ， 就 能 够 为 企业 带 来 价值 。 但 要 确定 需要 解 
决 哪些 问题 并 非 易 事 ， 特 别 是 在 有 很 多 问题 需要 解决 的 情况 下 尤为 困难 。 其 中 一 些 问题 可 
能 具有 潜在 的 影响 力 ， 另 一 些 可 能 很 酷 、 很 有 趣 ， 而 有 时 候 待 解决 的 问题 并 不 那么 明显 。 


这 里 的 关键 不 在 于 数据 本 身 或 者 我 们 想 要 对 数据 做 些 什么 ， 而 在 于 我 们 想 要 从 数据 中 获得 
什么 样 的 价值 、 什 么 会 对 业务 产生 影响 、 什 么 可 以 作为 行动 的 参考 。 要 解决 这 些 问题 ,我 
们 需要 与 干系 人 一 一 系统 用 户 和 客户 -一 展开 讨论 。 通 常 ， 我 们 面临 的 主要 挑战 是 如 何 吸 
引 这 些 干系 人 的 注意 ， 让 他 们 愿意 在 这 上 面 花 时 间 。 可 惜 的 是 ， 他 们 通常 不 知道 自己 真正 
需要 什么 。 































































































在 讨论 过 程 中 ， 可 以 向 你 自己 或 用 户 提出 以 下 问题 。 
。 重要 的 跟踪 指标 有 哪些 ? 


。 影响 顾客 参与 度 的 因素 有 哪些 ? 
。 公司 的 产品 是 否 存在 差距 ? 


。 是 否 存在 痛 点 ? 
下 一 步 是 尝试 设 定 进 一 步 解决 问题 的 目标 ， 包 括 定 义 特定 的 指标 、 数 字 、 可 视 化 元 素 ， 等 
等 。 这 样 一 来 ， 就 可 以 用 它们 评估 解决 问题 的 方法 ， 并 确定 其 他 六 在 问题 与 我 们 正在 解决 
的 问题 相关 以 及 如 何 相关 。 

















让 我 们 把 这 个 想法 应 用 到 连锁 超市 示例 中 。 假 设 我 们 的 问题 是 货架 上 未 能 摆 满 合适 的 商 
品 。 可 以 创建 如 下 的 可 视 化 元 素来 说 明 这 一 点 。 
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口 商品 的 库存 变化 
一 张 基 于 时 间 的 图 表 ， 显 示 每 种 商品 的 平均 库存 量 、 最 大 库存 量 、 最 小 库存 量 、 前 
10% 的 库存 量 和 后 10% 的 库存 量 。 











口 缺 贷 商品 
一 张 基于 时 间 的 图 表 ， 显 示 每 种 商品 何 时 缺 货 。 


借助 上 述 两 张 图 表 ， 可 以 进一步 创建 有 助 于 确定 问题 影响 的 可 视 化 元 素 。 

















口 购买 替代 品 模式 

在 某 种 商品 缺 货 时 ， 顾 客 会 选择 其 他 商品 吗 ? 
口 货运 供应 链 

库存 不 足 是 交 货 延迟 造成 的 吗 ? 

口 地 区 或 商店 的 差异 

各 地 区 或 各 商店 的 库存 水 平 是 否 存在 差异 ? 


口 顾客 影响 
对 于 会 正常 购买 某 类 商品 的 顾客 ， 他 们 在 商品 有 货 和 商品 缺 货 时 的 支出 是 否 存 在 变化 ? 





























我 们 主要 是 想 提供 有 助 于 说 明 问 题 的 背景 ， 定 义 问题 的 影响 范围 ， 以 及 揭示 问题 的 潜在 影 
响 ， 这 样 或 许可 以 为 制定 决策 提供 足够 的 信息 。 这 些 信息 还 有 助 于 确定 这 个 问题 与 公司 面 
临 的 其 他 问题 相 比 熟 轻 识 重 。 

2. 针对 定义 问题 的 风险 管理 

在 确定 需要 解决 哪些 问题 时 ， 有 两 个 重要 的 考虑 因素 可 以 帮助 你 更 好 地 管理 风险 ， 并 使 后 
续 工 作 进 展 得 更 顺利 。 




















口 了 解 许 多 人 的 观点 
确保 你 可 以 从 多 个 来 源 了 解 到 他 人 观点 ， 而 不 只 是 一 两 个 人 。 例 如 ， 你 可 以 与 高 层 管理 
人 员 或 直接 受 问 题 影响 的 团队 交流 。 但 问题 是 ， 不 同 的 人 群 与 要 解决 的 问题 之 间 的 距离 
要 么 太 近 ， 要 么 太 远 ， 所 以 他 们 无 法 从 多 个 角度 看 待 问题 。 获 得 额外 的 观点 有 助 于 在 以 
后 量化 问题 和 解决 问题 。 








口 建立 信任 
你 应 该 具有 合作 精神 ， 不 要 试图 从 鸡蛋 里 挑 骨头 。 你 应 该 与 干系 人 密切 合作 ， 获 得 他 们 
的 信任 。 
这 一 阶段 的 挑战 在 于 确保 能 够 正确 地 定义 问题 。 一 个 有 效 的 方法 是 频繁 地 公开 讨论 你 要 解决 
的 问题 。 这 种 方法 可 能 很 常见 ， 但 它 确实 有 助 于 避免 将 责任 只 归咎 于 组 织 的 某 些 部 分 。 有 时 
候 ， 将 过 多 的 注意 力 集中 在 一 个 特定 问题 上 可 能 会 将 组 织 中 的 一 部 分 人 或 部 门 置 于 不 利 位 置 。 
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要 避免 陷入 这 种 办 公 室 的 勾心斗角 ， 可 以 尝试 找到 其 他 部 门 中 能 够 理解 定义 问题 迭代 过 程 
的 人 ， 然 后 经 常 与 这 些 人 沟通 ， 以 减少 令 人 不 快 的 意外 。 


3. 实现 和 实施 解决 方案 

现在 ， 我 们 已 经 知道 要 解决 哪些 问题 ， 并 且 有 了 解决 方案 ， 我 们 已 经 准备 好 实现 这 些 解决 
方案 了 。 将 要 解决 的 问题 铭记 在 心 ， 保 持 灵 活性 ， 并 基于 可 能 会 影响 解决 方案 的 新 信息 做 
出 调整 。 





























在 实现 阶段 有 儿 个 重要 的 考虑 因素 ， 就 是 要 专注 于 构建 健壮 的 解决 方案 ， 确 保 所 构建 的 解 
决 方案 不 是 一 次 性 的 ， 并 将 解决 方案 付 诸 实 施 。 


构建 健壮 的 解决 方案 

构建 只 能 解决 单一 问题 的 系统 是 一 个 常见 的 陷阱 。 更 好 的 做 法 是 构建 可 以 解决 多 个 问题 的 
平台 系统 。 能 够 快速 而 准确 地 获得 结果 固然 是 好 的 ， 但 如 果 能 够 快速 而 准确 地 找到 所 有 
(或 尽 可 能 多 ) 的 答案 会 更 好 。 











想 要 定义 清晰 的 价值 获取 路 径 ， 可 以 尝试 创建 方块 图 来 可 视 化 ， 如 图 1-2 所 示 。 顶 部 是 所 
有 的 数据 源 ， 当 你 从 顶部 移动 到 底部 ， 就 越 来 越 接近 价值 和 具有 行动 参考 作用 的 结果 。 





























1-2: 将 系统 分 解 为 块 


可 以 把 图 1-2 中 的 方块 想象 成 积木 块 。 你 可 以 利用 像 “手套 360 视图 ”这 样 的 积木 块 来 解 
决 很 多 问题 ， 不 仅 是 当前 的 问题 ， 还 包括 未 来 的 需求 问题 。 











构建 过 多 的 单一 用 途 块 存在 一 定 的 风险 ， 因 为 你 必须 维护 每 一 块 。 到 了 某 个 时 候 ， 你 就 需 
要 将 块 合 并 ， 目 的 是 简化 价值 获取 路 径 。 
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如 果 想 构建 一 个 可 以 解决 所 有 问题 的 系统 ， 那 么 最 终 得 到 的 系统 可 能 什么 问题 也 解决 不 
了 。 先 从 小 处 开始 ， 并 确保 你 对 业务 需求 有 清晰 的 了 解 。 

实施 解决 方案 

让 发 现 问 题 或 解决 问题 的 人 来 实施 解决 方案 也 是 一 个 常见 的 陷阱 ， 因 为 实施 解决 方案 需要 
完全 不 同 的 技能 。 这 两 组 人 员 之 间 需 要 建立 良好 的 询 通 渠道 。 另 外 ， 与 寻找 解决 方案 时 相 
同 ， 在 实施 解决 方案 时 也 需要 投入 巨大 的 精力 。 











1.3.2 ”数据 处 理 和 分 析 团 队 的 人 员 组 成 
与 数据 管道 和 数据 暂 存 团队 不 同 ， 能 够 从 数据 中 成 功 挖掘 价值 的 团队 更 专注 于 发 现 问题 、 
跨 团 队 合作 ， 以 及 寻找 解决 方案 。 这 意味 着 团队 需要 不 同 的 角色 。 


口 问题 提出 者 
问题 提出 者 能 够 在 公司 中 赢得 不 同 部 门 的 信任 ， 并 善于 识别 和 量化 问题 。 你 可 以 把 他 们 
视 为 寻宝 猎人 。 他 们 需要 建立 联盟 、 梳 理 日 常 业务 ， 从 而 找到 能 够 产生 重大 影响 却 待 解 
决 的 问题 。 在 团队 中 ， 他 们 可 以 是 项 目 经 理 、 产 品 经 理 或 技术 主管 ， 也 可 以 是 开发 人 员 
和 分 析 师 。 


口 架构 师 
架构 师 能 够 成 功 解决 问题 的 团队 不 仅 能 够 正确 地 选择 要 解决 的 问题 ， 而 且 会 选择 正确 的 
顺序 。 这 与 搭 积木 如 出 一 辑 ， 我 们 总 是 选择 只 需要 最 少 工作 量 的 问题 ， 而 且 这 些 问题 包 
含 了 可 重用 的 部 分 。 

































































口 智囊 团 
智 吉 团 包 括 提出 解决 方案 的 数据 科学 家 和 分 析 师 。 


口 工程 师 

工程 师 知 道 如 何 与 上 述 各 方 合 作 以 及 如 何 开展 工作 和 产品 化 。 

口 方案 沟通 专家 

如 前 所 述 ， 在 寻找 解决 方案 的 过 程 中 可 能 会 遭 到 他 人 的 指责 。 此 外 ， 得 不 到 支持 的 解决 
方案 可 能 永远 不 会 变 成 实际 的 产品 。 沟 通 专家 负责 传播 解决 方案 ， 充 分 发 挥 它 们 的 入 
力 。 他 们 可 能 是 项 目 经 理 、 产 品 经 理 或 技术 主管 。 


1.4 应 用 程序 开发 

到 目前 为 止 ， 我 们 已 经 探讨 了 将 数据 传输 到 暂 存 区 域 的 数据 管道 ， 以 及 专注 于 从 数据 中 获 
取 价 值 的 项 目 。 这 两 类 项 目 更 多 的 是 关注 数据 收集 和 数据 学 习 ， 而 本 节 介 绍 的 这 类 项 目 与 
部 署 使 用 数据 向 内 部 或 外 部 用 户 提供 服务 的 应 用 程序 有 关 。 基 于 数据 驱动 的 网 站 就 是 一 个 
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很 好 的 例子 。 假 设 有 一 个 支持 大 量 用 户 的 应 用 程序 ， 它 通过 数据 来 驱动 ， 同 时 还 具备 可 扩 
展 性 、 可 靠 性 和 可 用 性 。 


1.4.1 主要 考虑 因素 和 风险 管理 
这 个 用 例 包 含 以 下 这 些 有 助 于 取得 成 功 的 关键 考虑 因素 。 


口 延迟 和 吞吐 量 
执行 一 个 操作 需要 多 长 时 间 ， 系 统 每 秒 可 处 理 多 少 个 操作 ? 
口 局 部 状态 和 一 致 性 
如 果 系 统 在 多 个 地 区 可 用 ， 那 么 它 是 如 何 进行 复制 的 ? 它 是 孤岛 式 的 、 最 终 一 致 性 的 还 
是 强 一 致 性 的 ? 
口 系统 可 用 性 
系统 在 发 生 故 障 和 故障 恢复 方面 有 哪些 特点 ? 


1. 延迟 和 吞吐 量 
在 构建 应 用 程序 时 ， 可 以 先 了 解 需要 保存 哪些 数据 以 及 如 何 与 这 些 数 据 交 互 。 与 数据 交互 
的 操作 包括 插入 、 更 新 、 多 行事 务 处 理 ， 等 等 。 


对 于 每 种 数据 交互 ， 都 需要 考虑 很 多 蕉 在 问题 。 

营 态 条 件 

如 果 两 个 客户 端 同时 更 新 同一 行 数据 ， 谁 会 胜出 ”有 几 种 办 法 可 用 于 解决 这 个 问题 ， 请 看 
以 下 例子 。 


口 最 后 一 个 胜出 
在 这 种 情况 下 ， 谁 输 谁 赢 并 不 重要 ， 它 们 只 是 随机 地 相互 覆盖 。 


口 事务 锁定 
这 意味 着 在 修改 数据 之 前 ， 需 要 在 数据 存储 级 别 或 服务 器 级 别 加 锁 。 一 个 常见 的 例子 是 
只 有 当 某 个 条 件 成 立时 才能 修改 数据 ， 例 如 ， 只 有 当 bar 列 的 值 等 于 100 时 才能 将 foo 
列 的 值 更 新 为 42。 


异步 操作 与 同步 操作 

在 要 求 低 延 迟 的 系统 中 ， 进 行 实时 的 保存 操作 可 能 是 不 现实 的 。 一 些 需 要 和 暂时 保存 在 服务 
器 或 客户 端的 内 存 中 ， 最 后 再 异步 持久 化 到 最 终 的 存储 系统 中 。 对 于 这 种 用 例 ， 需 要 考虑 
以 下 事项 。 
















































































口 速度 与 事实 
在 使 用 异步 模型 时 ， 会 有 一 个 短暂 的 时 间 窗 口 ， 在 这 个 窗口 内 可 能 会 丢失 数据 。 你 需要 
评估 数据 丢失 与 延迟 ， 哪 个 问题 对 于 系统 来 说 更 严重 。 
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性 能 一 致 性 
性 能 是 否 具 有 一 致 性 ?你 需要 问 自己 以 下 这 些 问 题 。 


。 如 果 数 据 的 插入 顺序 变 了 会 怎样 ? 

。 性 能 会 因为 数据 的 扩展 而 发 生变 化 吗 ? 

。 性 能 会 随 着 存储 解决 方案 的 变化 而 发 生变 化 吗 ? 

。 对 于 生成 的 数据 和 实际 的 数据 ， 性 能 是 否 存在 差异 ? 
。 维护 工作 将 如 何 影响 性 能 ? 


2. 针对 延迟 的 风险 管理 

要 降低 与 性 能 相关 的 风险 ， 最 好 的 办 法 是 及 早 进行 测试 和 频繁 地 沟通 。 应 该 监控 与 性 能 相 
关 的 方方面面 。 你 需要 记录 每 一 个 连接 的 信息 ， 无 论 是 内 部 的 还 是 外 部 的 都 要 记录 。 另 
外 ， 要 对 测试 结果 提出 质疑 ， 并 让 多 个 团队 一 起 参与 测试， 

最 后 ， 确 保 在 设计 中 使 用 接口 (第 4 章 将 详细 讨论 )， 这 样 就 可 以 无 颖 地 森 换 接口 实现 。 
在 构建 出 第 一 个 解决 方案 后 ， 你 很 可 能 会 想到 其 他 更 好 的 策略 。 所 以 ， 给 自己 留 一 些 空 
间 ， 用 于 实现 后 面 可 能 出 现 的 变更 ， 而 不 是 重 写 整个 系统 。 

局 部 状态 

状态 存在 于 多 个 地 方 ， 以 下 是 分 布 式 系统 中 存在 状态 的 4 个 主要 位 置 。 















































口 客户 端 
用 户 正 在 使 用 的 客户 端 接口 。 
口 服务 器 端 
客户 端 访问 的 服务 器 。 
口 数据 中 心 
应 用 程序 服务 器 所 在 的 本 地 数据 中 心里 的 持久 存储 。 
口 多 数据 中 心 


跨 数据 中 心 的 复制 持久 存储 。 
在 制定 这 些 场景 的 目标 和 需求 时 ， 需 要 考虑 以 下 这 些 因 素 。 
客户 端 
在 客户 端 缓存 数据 ， 并 允许 在 客户 端 修改 数据 ， 这 样 可 以 提升 性 能 和 可 扩展 性 。 但 是 ， 客 
户 端 状态 也 存在 一 些 潜在 的 问题 。 


口 临时 性 
客户 端 随时 都 可 能 发 生 故 障 ， 导 致 数据 在 到 达 服 务 器 之 前 丢失 。 
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口 信任 
如 果 客 户 端 信任 对 你 来 说 很 重要 ， 那 么 在 不 受信 任 的 主机 上 运行 的 客户 端 (包括 不 受信 
任 的 用 户 ) 就 会 带 来 一 些 问题 。 


服务 器 端 

虽然 服务 器 端 不 存在 信任 问题 ， 但 仍然 可 能 会 发 生 临 时 的 数据 丢失 。 服 务 器 端的 另 一 个 潜 
在 问题 是 用 户 分 区 。 客 户 端 按照 用 户 分 区 ， 而 服务 器 端 按照 用 户 组 分 区 。 在 某 些 情况 下 ， 
用 户 分 区 可 能 是 基于 某 些 明确 的 策略 。 例 如 ， 对 于 游戏 应 用 程序 来 说 ， 就 需要 在 同一 台 服 
务 器 上 维护 用 户 状 态 。 但 在 很 多 情况 下 ， 用 户 状态 可 以 随意 放置 。 例 如 ， 在 Web 应 用 程序 
中 ， 可 以 基于 负载 均衡 器 放置 用 户 状态 。 


在 需要 多 服务 器 状态 管理 的 场景 中 ， 可 能 需要 考虑 数据 中 心 持久 存储 。 


数据 中 心 
在 这 一 层 ， 你 可 以 看 到 一 些 用 于 持久 化 状态 的 常用 技术 ， 例 如 NoSQL 系统 、 关 系数 据 库 和 分 
布 式 缓 在。 这 一 层 的 目标 是 存储 当前 区 域 以 及 当前 区 域内 的 服务 器 和 客户 端 所 需 的 所 有 状态 。 


数据 中 心里 的 数据 很 可 能 会 被 复制 ， 以 避免 受 一 个 或 多 个 市 点 故障 的 影响 。 但 这 并 不 意味 
着 这 种 保护 措施 是 完美 的 ， 因 为 整个 区 域 也 有 可 能 发 生 停机 事故 。 如 果 你 看 重 这 个 问题 ， 
那么 可 能 需要 采用 多 数据 中 心 。 


多 数据 中 心 
有 几 种 模型 可 用 于 多 数据 中 心 场景 ， 有 具体 使 用 哪 一 种 取决 于 用 例 需 求 。 接 下 来 介绍 一 些 可 
用 的 模型 。 







































































口 灾 备 恢复 复制 
对 于 这 种 情况 (例如 在 整个 数据 中 心 变 得 不 可 用 时 )， 我 们 使 用 多 数据 中 心 配置 来 防止 
数据 丢失 。 这 通常 是 一 个 异步 或 批 处 理 的 过 程 ， 数 据 最 终 会 在 数据 中 心 之 间 保 持 一 致 。 
我 们 不 要 求 局 部 的 完全 一 致 性 ， 但 要 朝 着 这 个 方向 努力 。 虽 然 这 样 仍然 无 法 完全 避免 煞 
据 丢失 ， 但 确实 可 以 避免 大 部 分 的 数据 丢失 。 


只 使 用 复制 时 ， 需 要 考虑 这 样 一 个 问题 ， 如 果 多 个 区 域 同 时 修改 了 数据 ， 会 发 生 什么 ? 
因为 没有 全 局 一 致 的 状态 ， 所 以 也 就 没有 单一 的 事实 来 源 。 


口 锁定 
全 局 锁定 是 一 种 在 发 生 跨 区 域 数据 变更 的 情况 下 仍然 能 够 保持 一 致 性 的 解决 方案 。 它 的 
主要 思想 是 全 局 锁定 某 个 资源 ， 在 获得 锁 之 前 ， 没 有 哪个 区 域 可 以 修改 这 个 资源 。 有 多 
种 方式 可 以 实现 这 种 锁定 机 制 。 



































。 客户 端 锁定 
每 个 客户 端 都 需要 获得 锁 才能 修改 给 定 的 记录 。 
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。 数据 中 心 锁 定 
所 有 的 数据 变更 都 必须 先 通过 指定 的 数据 中 心 。 这 比 客户 端 锁定 使 用 更 少 的 锁 ， 但 
会 给 位 于 当前 区 域 之 外 的 客户 端 造 成 更 高 的 网 络 延 迟 。 


。 记录 级 别 的 锁定 
这 其 实 是 一 种 仲裁 架构 。 我 们 有 奇数 个 状态 存储 ， 只 要 多 数 区 域 同意 当前 的 状态 变 
更 ， 这 个 状态 变更 就 会 被 接受 。 
需要 注意 的 是 ， 数 据 中 心里 的 数据 通常 仅 限于 当前 区 域内 的 用 户 访问 。 如 果 你 的 应 用 程序 
涉及 不 同 区 域 客户 端 之 间 的 交互 ， 那 么 就 需要 考虑 不 同 区 域 如 何 共享 数据 。 
3. 针对 局 部 状态 的 风险 管理 


在 规划 项 目 时 ， 最 好 能 够 尽早 制定 有 关 状 态 管 理 的 策略 。 项 目的 要 求 和 目标 是 什么 ?有 关 
状态 的 决策 将 如 何 影 响 用 户 ? 在 项 目 启动 之 后 就 很 难 再 改变 这 些 策略 。 



































做 出 决定 后 ， 你 需要 将 这 些 决 定 完整 地 记录 下 来 ， 并 列 出 可 能 对 用 户 造 成 的 影响 。 文 档 需 
要 采用 所 有 用 户 都 可 以 访问 并 且 能 够 清楚 传达 决策 影响 的 格式 。 
4. 可 用 性 


系统 可 用 性 是 一 个 很 关键 的 因素 ， 但 同时 也 颇具 挑战 性 。 影 响 系 统 正常 运行 的 因素 有 很 
多 ， 包 括 如 下 这 些 因素 。 








口 人 为 错误 
人 都 会 犯错 误 ， 比 如 精 糕 的 配置 变更 、 错 误 的 代码 部 署 ， 等 等 。 
口 升级 


茶 些 升级 需要 重启 系统 。 即 使 是 在 深 动 重启 的 情况 下 ， 系 统 的 某 些 部 分 在 一 段 时 间 内 也 
是 不 可 用 的 。 

口 故障 
无 论 是 在 本 地 还 是 在 云端 运行 系统 ， 硬 件 故 障 都 不 可 避免 。 








口 攻击 
在 规划 系统 时 ， 也 需要 把 恶意 攻击 考虑 在 内 ， 它 们 有 可 能 会 影响 系统 的 可 用 性 。 


你 需要 定义 故障 和 可 以 满足 给 定 服务 等 级 协定 的 恢复 方案 。 以 下 是 故障 点 和 恢复 计划 的 一 
些 示 例 。 
口 服务 器 故障 转移 


如 有 果 当 前 服务 器 出 现 故障 ， 要 能 够 启用 另 一 台 服 务 器 。 如 果 状 态 位 于 数据 中 心里 ， 那 么 
单 台 服 务 器 发 生 故 障 几 乎 不 会 造成 任何 影响 。 
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口 非 复制 缓存 故障 转移 
有 些 设计 方案 将 状态 放 在 缓 在 中 ， 当 缓存 因为 故障 而 被 销毁 时 ， 状 态 数据 可 能 被 持久 化 
到 其 他 存储 中 。 不 过 ， 从 存储 中 恢复 缓存 需要 花费 一 点 时 间 。 


口 最 终 一 致 复制 的 数据 中 心 故障 转移 
最 终 一 致 复制 是 在 广域网 上 复制 数据 的 常用 方法 。 如 果 发 生 故 障 ， 可 以 将 请 求 切 换 到 不 
同 的 数据 中 心 。 但 多 数据 中 心 故障 转移 存在 两 个 问题 。 首 先 ， 在 发 生 故 障 时 ， 发 送出 去 
的 数据 很 有 可 能 会 丢失 ， 这 个 时 间 窗 口 可 能 很 小 ， 具体 取决 于 实际 的 吞吐 量 和 延迟 。 其 
次 ， 应 该 如 何 处 理 写 入 操作 ， 例 如 ， 是 选择 将 写 入 操作 重 定向 到 负责 管理 写 入 操作 的 首 
领 中 心 ， 还 是 重 定向 到 任意 一 个 数据 中 心 。 


5. 针对 可 用 性 的 风险 管理 
要 解决 可 能 影响 系统 可 用 性 的 问题 ， 一 个 比较 好 的 策略 是 有 意识 地 定期 向 系统 中 引入 故 
障 ， 例 如 ， 使 用 由 Netflix 开发 的 Chaos Monkey 故障 注入 工具 。 








Ae 
































故障 测试 的 结果 应 该 被 用 来 定义 故障 影响 、 恢 复 计划 以 及 可 以 在 未 来 缩小 故障 影响 范围 的 
措施 。 将 这 些 作为 系统 的 一 部 分 一 起 发 布 ， 使 用 户 对 系统 的 预期 更 实际 。 


此 外 ， 如 果 做 得 好 ， 还 可 以 形成 一 种 文化 。 在 这 种 文化 之 下 ， 人 们 不 仅 将 故障 作为 高 优先 
级 事项 来 考虑 ， 还 会 积极 采取 措施 缩小 故障 的 影响 范围 。 














1.4.2 ”应 用 程序 开发 团队 的 人 员 组 成 

与 其 他 两 个 用 例 不 同 ， 应 用 程序 开发 关注 的 是 用 户 影响 、 一 致 性 、 行 为 和 数据 移动 效率 。 
应 用 程序 开发 团队 的 人 员 配 备 可 能 有 一 部 分 与 数据 管道 和 数据 暂 存 团队 的 相同 ， 但 仍然 存 
在 一 些 明 显 的 差异 。 具 体 地 说 ， 应 用 程序 开发 团队 可 能 包含 以 下 角色 。 


























口 网 站 可 靠 性 工程 师 
网 站 可 靠 性 工程 师 致 力 于 保证 部 署 在 生产 环境 中 的 应 用 程序 具备 可 靠 性 和 可 扩展 性 。 他 
们 是 成 功 部 署 应 用 程序 的 关键 。 


口 数据 库 工程 师 
数据 库 工 程 师 不 是 传统 的 数据 库 开 发 人 员 和 架构 师 ， 而 是 对 现代 分 布 式 数据 存储 和 处 理 
系统 有 深入 了 解 的 人 。 他 们 需要 确保 数据 库 能 够 快速 执行 读 取 、 写 入 和 事务 处 理 等 操 
作 ， 以 此 来 满足 应 用 程序 的 需求 。 














1.5 ”小结 


本 章 很 长 ， 讨 论 了 很 多 话题 。 重 点 在 于 ， 我 们 在 实施 项 目 之 前 要 对 项 目 有 很 好 的 了 解 ， 并 
经 过 了 周密 的 计划 。 为 此 ， 本 章 将 数据 项 目 分 为 3 种 最 常见 的 类 别 。 
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口 数据 管道 和 数据 暂 存 
这 类 项 目 将 源 数 据 引 入 到 系统 中 ， 并 为 进一步 的 处 理 做 准备 。 这 类 项 目 将 为 其 他 类 型 的 
项 目 黄 定 基础 ， 因 此 在 规划 时 要 十 分 小 心 。 


口 数据 的 处 理 和 分 析 
在 有 了 可 用 的 数据 后 ， 这 类 项 目 通 过 处 理 和 分 析 从 数据 中 获取 具有 行动 参考 价值 的 见 
解 。 它 们 可 能 是 分 析 师 用 于 探索 数据 的 临时 项 目 ， 也 可 能 是 为 业务 用 户 提供 报告 和 仪表 
盘 的 完整 项 目 。 


口 应 用 程序 开发 
这 类 项 目 面向 用 户 开发 应 用 程序 ， 为 内 部 用 户 或 外 部 用 户 提供 服务 和 价 
赖 于 前 面 两 类 项 目的 成 功 实施 和 部 署 。 









































TI 


已 们 通常 依 

















我 们 针对 每 类 项 目 讨 论 了 有 助 于 推动 项 目 规划 和 开发 的 注意 事项 ， 并 将 考虑 因素 分 为 3 类 。 


口 主要 考虑 因素 
在 规划 每 类 项 目 时 应 该 考虑 的 特殊 注意 寻 


口 风险 
应 该 纳入 到 项 目 规划 中 的 法 在 风险 ， 以 及 可 以 降低 这 些 风险 的 信息 。 














项 。 


二 








口 项 目 团队 
在 组 建 团队 以 交付 项 目 时 需要 考虑 的 角色 类 型 。 





本 章 所 提供 的 指南 基于 我 们 从 不 同 公 司 的 多 个 项 目 中 总 结 出 来 的 经 验 ， 它 们 应 该 可 以 帮助 
你 成 功 地 实施 数据 项 目 。 接 下 来 将 针对 其 中 一 些 主题 进行 更 详细 的 介绍 。 








数据 项 目的 主要 类 型 及 考虑 因素 | 23 





图 灵 社 区 会 员 ChenyangGao(2339083510@qq.com) 专 享 尊重 版 权 


第 2 章 


评估 和 选择 数据 管理 解决 方案 





你 可 能 已 经 意识 到 ， 在 开始 一 个 新 项 目 时 ， 技 术 选 型 有 多 么 重要 。 选 择 正 确 的 解决 方案 是 
一 个 复杂 的 过 程 ， 它 会 对 组 织 产 生长 远 的 影响 ， 并 直接 影响 数据 项 目 能 否 取得 成 功 。 是 重 
用 可 信赖 的 解决 方案 ， 还 是 尝试 新 方案 ,或 是 步行 业 领头 羊 的 后 人 尘 ? 在 选择 解决 方案 时 ， 
我 们 必须 面 对 这 些 艰 难 的 决策 。 


在 决策 过 程 中 ， 你 可 能 会 看 到 市 场 炒作 、 来 自 供 应 商 的 夸大 承诺 、 能 够 提供 不 同 解决 方案 
的 分 析 师 以 及 拥有 忠实 用 户 基础 的 工具 。 其 中 一 些 解决 方案 可 能 适合 你 的 项 目 ， 有 些 则 可 
能 不 太 适 合 。 后 者 只 会 浪费 时 间 和 金钱 ， 让 你 感到 挫败 。 


本 章 的 目的 是 帮助 你 在 技术 选 型 过 程 中 做 出 最 好 的 选择 。 首 先 ， 讨 论 开 源 项 目的 一 些 常见 
的 生命 周期 ， 这 些 知识 有 助 于 了 解 开源 项 目的 健康 状况 、 项 目 处 在 生命 周期 中 的 位 置 ， 以 
及 抛 开 炒 作 (不 管 有 没有 ) 看 看 项 目 是 否 适合 系统 。 然 后 ， 讨 论 用 于 评估 项 目的 一 些 指 
标 ， 例 如 性 能 测试 或 基准 测试 的 结果 。 最 后 ， 深 入 探讨 一 些 项 目 技术 选 型 模式 。 



































你 很 可 能 会 问 : 为 什么 本 章 要 关注 开源 项 目 ? 可 以 采用 商业 解决 方案 吗 ? 关注 开源 项 目的 
主要 原因 是 ， 很 多 较 新 的 大 数据 平台 都 是 开源 项 目 ， 而 且 很 多 现代 专 有 解决 方案 也 是 基 
于 开源 软件 或 利用 了 开源 软件 ， 在 某 些 情况 下 甚至 会 复制 开源 解决 方案 的 功能 。 当 然 也 
有 例外 Teradata 是 一 个 闭 源 的 商业 数据 管理 解决 方案 ， 它 可 以 存储 和 处 理 海 量 数据 。 
在 云 计 算 领 域 ， 亚 马 逊 Web 服务 (AWS) 提供 了 专 有 产品 ， 例 如 简单 存储 服务 (Simple 
Storage Service， 即 Amazon S3) 和 Kinesis， 它 们 主要 用 于 存储 和 处 理 大 数据 。 然 而 ， 这 
些 专 有 软件 的 开发 通常 遵循 与 开源 项 目 类 似 的 路 径 ， 只 是 被 隐藏 在 公众 视野 之 外 。 本 章 将 
介绍 开源 产品 和 闭 源 产品 之 间 的 差异 。 
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虽然 我 们 主要 关注 开源 项 目 ， 但 并 不 是 说 第 三 方 商业 解决 方案 就 一 定 不 适合 你 的 数据 项 
目 。 大 多 数 企 业 软件 供应 商 支持 主要 的 大 数据 平台 ， 并 且 通 常会 提供 可 以 促进 应 用 程序 开 
发 的 解决 方案 ， 特 别 是 当 你 已 经 在 一 个 组 织 的 其 他 方面 使 用 了 这 些 解决 方案 。 另 外 需要 注 
意 的 是 ， 很 多 与 开源 项 目 相关 的 决策 点 也 适用 于 商业 产品 。 



































另外 ， 很 多 软件 供应 商 采 用 混合 模型 ， 即 将 专 有 解决 方案 和 开源 解决 方案 相 结合 。 回 到 
Teradata 的 例子 ， 虽 然 它 的 旗舰 产品 是 专 有 的 ， 但 它 同 时 也 提供 了 开源 产品 。 例 如 ， 它 支 
持 Apache Presto 和 其 他 开源 系统 。 男 一 个 例子 是 AWS， 它 除了 提供 专 有 服务 ， 还 提供 基 
于 开源 软件 (如 Apache Hadoop) 构建 的 服务 。 



































在 阅读 时 还 需要 注意 ， 本 章 提 到 的 大 多 数 考虑 因素 更 适用 于 在 本 地 或 云端 部 署 的 软件 。 这 
与 云 服务 供应 商 或 托管 服务 供应 商 提 供 的 托管 服务 恰好 相反 。 虽 然 本 章 以 及 其 他 各 章 讨论 
的 很 多 考虑 因素 也 适用 于 托管 服务 ， 但 你 的 选择 在 很 大 程度 上 将 受到 供应 商 提 供 的 服务 的 
限制 。 


2.1 开源 项 目的 阶段 


在 参与 多 个 开源 项 目 之 后 ， 我 们 发 现 开源 项 目 往往 会 经 历 一 些 共 同 的 阶段 。 并 非 每 个 项 目 
都 会 经 历 所 有 这 些 阶 段 ， 而 且 其 他 人 可 能 会 总 结 出 不 同 的 阶段 ， 但 在 本 章 中 ， 我 们 将 这 些 
阶段 分 为 孵化 阶段 、 发 布 阶段 、“ 治 愈 癌症 ”阶段 、 打 破 承 诺 阶段 、 强 化 阶段 、 企 业 阶段 
和 终结 阶段 。 本 市 将 详细 解释 每 一 个 阶段 ， 以 帮助 你 确定 自己 的 项 目 正 处 在 其 生命 周期 的 
哪个 阶段 ， 从 而 对 项 目 做 出 评估 。 












































在 了 解 这 些 项 目 生 命 周期 阶段 的 同时 ， 你 可 能 会 注意 到 它们 与 Gartner 炒作 周期 有 一 些 相 
似 之 处 。Gartner 炒作 周期 是 由 Gartner 公司 创造 的 一 种 方法 ， 用 于 跟踪 技术 的 成 熟 度 。 以 
下 是 Gartner 炒作 周期 的 各 个 阶段 ， 以 及 它们 与 本 章 所 述 项 目 阶 段 之 间 的 关系 。 


口 技术 的 触发 
孵化 阶段 和 发 布 阶段 。 
口 膨胀 期 望 的 高 峰 
“治愈 癌症 ”阶段 。 

口 幻灭 的 低谷 

打破 承诺 阶段 。 

口 启蒙 的 作 坡 

强化 阶段 。 

口 生产 力 的 高 原 
企业 阶段 和 终结 阶段 。 
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2.1.1 孵化 阶段 


很 多 成 功 的 开源 项 目 是 从 内 部 孵化 项 目 开 始 的 ， 并 且 通 党 由 母 公 司 或 大 学 提供 赞助 。 母 
公司 通常 会 提供 初始 资金 ， 同 时 也 会 提出 项 目 要 解决 的 问题 。 这 方面 有 很 多 很 好 的 例子 : 
Apache Kafka 最 初 是 在 LinkedIn 开发 的 ， 用 于 解决 公司 在 数据 集成 方面 所 面临 的 问题 ， 
Apache Hive 来 自 Facebook， 其 目的 是 方便 用 户 访问 数据 ，Apache Spark 来 自 加 州 大 学 伯 





克利 分 校 ，Apache Impala 的 前 身 是 Cloudera Impala。 





























很 多 项 目 在 经 历 了 内 部 孵化 后 会 进入 外 部 孵化 阶段 ， 不 过 ， 内 部 孵化 阶段 既 有 好 处 ， 也 有 
一 些 不 足 。 内 部 孵化 阶段 设 定 了 项 目的 发 展 方向 ， 建 立 了 一 致 的 架构 ， 为 开发 人 员 提 供 了 
可 遵循 的 开发 风格 和 用 于 构建 可 靠 代码 库 和 文档 的 时 间 ， 等 等 。 这 也 有 助 于 阐释 项 目 能 够 
提供 的 价值 以 及 可 以 解决 的 技术 问题 一 一 即使 是 对 于 开源 软件 来 说 ， 营 销 也 至 关 重 要 。 














既然 铸 化 阶段 对 于 大 多 数 人 来 说 是 不 可 见 的 ， 那 为 什么 要 在 讨论 开源 项 目 时 提 到 它 呢 ? 因 
为 这 个 阶段 对 项 目的 成 功 至 关 重 要 一 一 从 长 远 来 看 ， 项 目 在 顺利 度 过 艇 化 阶段 后 更 有 可 能 








获得 成 功 。 来 自 母 公司 的 支持 可 能 是 项 目 头 几 年 的 推动 力 。 


2.1.2 发 布 阶段 





这 是 项 目 开源 之 后 的 阶段 。 对 于 处 在 这 一 阶段 的 项 目 ， 需 要 了 解 如 下 重要 的 方面 。 


口 项 目 获得 了 多 少 支持 和 动力 ? 





是 否 有 与 项 目 发 布 相关 的 文章 ? 项目 是 在 行业 大 会 上 出 现 过 ， 还 是 只 有 少数 人 知道 ?此 
目 





外 ， 赞 助 实体 在 支持 项 目 方面 是 否 具有 良好 的 声誉 和 记录 ?同样 ， 项 

















是 否 具 有 良好 的 声誉 ? 


口 项 目的 定位 和 愿景 是 什么 ? 
项 目 是 否 清楚 地 说 明了 它 试图 解决 的 技术 问题 ? 这 一 点 很 重要 ， 
方向 以 及 技术 能 否 被 采用 等 方面 起 到 重要 作用 。 


口 项 目 是 演化 式 的 还 是 革命 性 的 ? 




















的 核心 开发 人 员 





因为 它 将 在 项 目的 发 展 








当 一 个 项 目 刚 刚 出 现时 ， 需 要 将 其 与 声称 可 以 解决 相同 或 类 似 问 题 的 项 目 进行 比较 。 新 项 
目 所 做 的 是 不 同 于 已 有 解决 方案 的 重大 改进 ， 还 是 渐进 式 的 改善 ? 之 所 以 要 问 这 个 问题 ， 
是 因为 切换 技术 需要 耗费 一 定 的 资源 。 通 常 来 说 ， 如 果 只 是 渐进 式 的 改善 ， 那 么 就 不 值得 
切换 技术 。 我 们 需要 问 自己 ,市 场 上 现 有 的 项 目 是 否 也 能 解决 新 项 目 要 解决 的 问题 ， 它 们 

















之 间 的 差距 是 否 大 到 只 能 由 新 项 目 来 填补 ， 以 及 新 项 目 能 否 带 来 已 有 项 目 无 法 匹敌 的 好 处 。 





2.1.3 “治愈 癌症 ”阶段 


无 论 好 坏 ， 大 多 数 项 目 会 经 历 一 个 可 以 被 称 为 “治愈 癌 症 ” 的 阶段 。 在 这 个 阶段 ， 新 项 目 
进行 积极 的 自我 推销 ， 强 调 (有 时 过 度 奔 大) 项 目 能 够 提供 的 好 处 。 如 果 看 到 以 下 这 些 内 
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容 ， 说 明 项 目 正 处 在 这 个 阶段 。 

。 项 目 承诺 为 每 个 问题 提供 简单 的 解决 方案 。 
。 很 少 提 及 项 目的 局 限 性 或 问题 。 

。 技术 工作 者 对 项 目 很 感 兴趣 ， 需 求 量 也 很 大 ， 却 不 清楚 项 目 将 如 何 为 他 们 提供 价值 。 












































实际 上 ， 这 个 阶段 对 于 开源 项 目 来 说 很 重要 。 如 果 没 有 这 种 炒作 ， 项 目 很 可 能 无 法 吸引 到 
进入 下 一 阶段 所 需 的 提交 者 和 贡献 者 ， 也 无 法 获得 进入 下 一 阶段 所 需 的 采用 量 。 


作为 决策 者 ， 应 该 如 何 看 待 处 于 这 个 阶段 的 项 目 ? 一 种 选择 是 谨慎 、 乐 观 地 对 待 项 目 。 对 
项 目 进行 谨慎 而 全 面 的 评估 ， 看 看 它 能 否 为 要 解决 的 问题 提供 解决 方案 ， 又 或 者 它 只 是 一 
种 炒作 。2.4 市 提供 的 指南 为 评估 处 于 这 一 阶段 的 项 目 提 供 了 参考 。 


男 一 种 选择 是 先 等 待 一 段 时 间 。 这 通常 是 更 好 的 选择 ， 因 为 随 着 项 目 或 技术 日 益 成 熟 ， 实 
现价 值 的 时 间 会 不 断 缩短 。 出 现 这 种 情况 的 原因 有 很 多 : 更 少 的 错误 、 更 多 的 示例 和 文 
档 、 更 多 训练 有 素 的 技术 人 员 、 更 少 的 FUD ( 想 惧 、 不 确定 性 和 怀疑 )。 


除非 公司 的 业务 非常 前 治 ， 否 则 如 果 项 目 处 在 这 个 阶段 ， 在 开始 评估 项 目 之 前 ， 请 先 等 待 
一 段 时 间 (至 少 6 到 12 个 月 )。 等 到 其 他 人 先 碰 完 该 碰 的 壁 ， 你 就 会 发 现 ， 成 功 之 路 会 更 
加 顺畅 。 此 外 ， 等 待 只 会 让 你 更 快 地 抵达 目的 地 ， 而 且 可 以 获得 比 早期 采用 者 更 好 的 架 
构 ， 因 为 有 了 更 强大 的 知识 体系 作为 基础 。 



































2.1.4 打破 承诺 阶段 
经 历 过 炒作 阶段 之 后 ， 大 多 数 项 目 会 变 得 更 实际 。 一 般 来 说 ， 如 果 选择 的 开源 项 目 没有 打破 
过 某 种 承诺 ， 那 说 明 还 没有 充分 使 用 它 。 当 发 生 以 下 情况 时 ， 就 说 明 “ 梦 想 不 再 照 进 现实 ”。 


口 向 新 用 户 开放 
当 项 目 开 始 向 开发 人 员 和 有 经 验 的 用 户 之 外 的 更 大 用 户 群 发 布 时 ， 项 目 代码 库 和 文档 的 
相关 问题 及 局 限 性 就 开始 显现 出 来 。 








口 大 规模 运行 
无 论 在 系统 的 设计 和 架构 方面 做 出 多 大 的 努力 ， 都 很 难 对 项 目 将 在 现实 世界 中 面临 的 工 
作 负 载 类 型 进行 全 面 的 建 模 。 受 制 于 生产 环境 工作 负载 的 项 目 很 容易 出 现 伸缩 性 问题 。 
在 最 坏 的 情况 下 ， 系 统 可 能 需要 进行 重 写 或 重 构 才 能 满足 这 些 预 期 之 外 的 规模 需求 。 



























































口 安全 
对 于 很 多 开源 项 目 来 说 ， 安 全 问题 的 优先 级 通常 低 于 功能 。 安 全 问题 不 一 定 是 导致 项 目 
失败 的 原因 ， 这 只 是 一 个 务实 的 选择 ， 主 要 是 为 了 能 够 尽 可 能 方便 地 解决 问题 。 如 果 项 
目 发 展 成 为 企业 解决 方案 ， 那 么 这 就 会 成 为 一 个 问题 ， 而 且 在 将 安全 纳入 到 系统 中 时 需 
要 做 出 更 大 的 努力 。 
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口 审计 和 维护 
对 于 企业 解决 方案 来 党， 审计 和 维护 很 重要 ， 但 与 安全 问题 一 样 ， 它 们 通常 不 是 开源 项 
目 初 始 开 发 阶段 优先 考虑 的 方面 。 很 多 针对 企业 市 场 的 开源 项 目 在 这 方面 做 得 越 来 越 
好 ， 但 这 个 领域 仍然 存在 需要 填补 的 空白 。 

口 集成 
解决 方案 可 能 都 会 存在 一 些 局 限 性 ， 这 些 局 限 性 导致 在 将 解决 方案 与 现 有 系统 和 架构 集 
成 时 颇具 挑战 性 。 


打破 承诺 阶段 是 大 多 数 开源 项 目的 成 败 点 ， 它 决定 了 项 目 能 否 存活 下 来 并 解决 所 有 出 现 的 
问题 。 








请 注意 ， 这 个 阶段 是 任何 一 个 成 功 项 目 都 必须 经 历 的 阶段 。 儿 乎 可 以 肯定 的 是 ， 你 所 评估 
的 任何 解决 方案 都 将 经 历 这 个 阶段 ， 不 应 该 将 处 于 这 个 阶段 的 项 目 视 为 不 合格 的 候选 项 
目 。 如 果 项 目 到 达 这 个 阶段 ， 说 明 人 们 正在 使 用 这 个 项 目 查找 问题 、 了 解 项 目的 局 限 性 ， 
等 等 。 这 对 于 项 目 进 入 强化 阶段 来 说 是 必要 的 。 








最 后 ， 这 个 阶段 为 采用 者 提供 了 在 社区 中 发 挥 重要 作用 的 机 会 ， 并 随 着 项 目的 进展 为 后 续 
用 户 提供 帮助 。 











2.1.5 强化 阶段 

在 强化 阶段 ， 早 期 开发 变 成 了 增 量 式 开发 。 这 个 阶段 并 不 那么 令 人 兴奋 ， 但 如 果 项 目 要 在 
企业 中 得 到 广泛 采用 ， 就 需要 经 历 这 个 阶段 。 

在 这 个 阶段 ， 项 目的 重点 将 放 在 审计 、 安 全 性 和 弹性 方面 。 所 幸 正 如 在 很 多 项 目 中 看 到 的 
那样 ， 通 常 可 以 在 后 续 阶 段 添 加 这 些 特性 ， 而 无 须 重新 设计 解决 方案 。 让 用 户 最 头疼 的 问 
题 是 添加 这 些 特性 的 速度 一 一 这 些 特 性 都 很 复杂 ， 需 要 在 项 目 中 仔细 加 以 监督 。 























有 趣 的 是 ， 项 目的 原始 开发 团队 可 能 并 不 是 完成 这 些 强化 工作 的 团队 。 随 着 项 目 日 益 成 
熟 ， 项 目 发 起 人 和 早期 开发 人 员 可 能 会 转向 其 他 的 角色 和 项 目 。 只 要 项 目 建立 了 稳固 的 社 
区 和 健康 的 生态 系统 ， 就 可 以 稳步 过 渡 。 事 实 上 ， 项 目 可 以 脱离 初始 开发 人 员 正 常 运作 是 
取得 成 功 的 好 兆头 。 


在 很 多 情况 下 ， 你 会 发 现 处 于 这 个 阶段 的 项 目 依赖 于 两 组 提交 者 : 一 组 专注 于 强化 ， 另 一 
组 则 专注 于 创新 。 后 者 仍然 在 尝试 突破 软件 的 功能 边界 ， 扩 大 软件 的 应 用 范围 ， 而 前 者 努 
力 让 项 目 成 为 企业 级 软件 。 

随 着 时 间 的 推移 ， 强 化 组 很 可 能 会 有 所 增长 ， 创 新 组 则 会 收缩 。 创 新 组 将 转向 更 自由 和 开 
发 速度 更 快 的 子 项 目 或 新 项 目 ， 因 为 这 就 是 创新 组 的 天 性 。 


请 记 住 ， 这 两 个 群体 都 很 重要 。 要 保持 它们 之 间 的 平衡 ， 就 需要 密切 关注 以 下 因素 。 
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口 平 街 
如 果 设 有 持续 的 创新 ， 项 目 将 会 比 预期 更 早 过 时 。 如 采 没 有 进行 务实 的 开发 ， 软 件 将 永 
远 无 法 在 生产 环境 中 运行 。 

口 技术 债务 
项 目 进 入 强化 阶段 所 需 的 时 间 越 长 ， 或 者 项 目 专注 于 创新 的 时 间 越 长 ， 技 术 债 务 就 会 越 
多 。 到 了 某 个 时 刻 ， 就 不 值得 化 成 本 去 解决 技术 债务 了 ， 项 目 将 走向 死亡 。 


口 应 该 信任 谁 并 与 他 们 合作 ? 

在 这 个 阶段 ， 项 目的 某 些 部 分 是 稳定 的 ， 其 他 部 分 则 不 稳定 。 应 该 听取 创新 者 的 意见 还 
是 实用 主义 者 的 意见 ?虽然 双方 都 认为 项 目 具有 巨大 潜力 ， 但 他 们 对 项 目 适 用 的 场景 有 
不 同 的 看 法 。 你 需要 同时 听取 他 们 的 意见 。 但 如 果 打 算 部 署 产 品 ， 则 要 着 重 关 注 实用 主 
义 者 的 意见 。 可 以 听 一 听 创 新 者 的 意见 ， 但 那 只 是 为 了 了 解 可 能 性 和 未 来 的 发 展 方 向 。 




















2.1.6 企业 阶段 

经 历 前 一 个 阶段 需要 克服 巨大 的 挑战 ， 所 以 很 多 项 目 未 能 到 达 企 业 阶 段 。 一 款 产品 是 否 已 
经 到 达 这 个 阶段 很 容易 就 能 看 出 来 : 它 可 能 已 经 被 成 功 部 署 到 很 多 公司 的 生产 环境 中 。 在 
几乎 不 参与 这 些 项 目 开发 的 组 织 中 部 署 这 些 项 目 是 非常 重要 的 ， 因 为 这 可 以 告诉 我 们 如 下 


这 些 事情 。 








口 软件 得 到 了 支持 和 维护 
如 有 果 部 署 软件 的 公司 不 是 软件 项 目 背 后 的 开发 驱动 力 ， 那 么 就 是 其 他 公司 或 力量 在 为 软 
件 提 供 支持 。 


口 软件 是 稳定 的 
项 目 稳定 的 一 个 很 重要 的 迹象 是 ， 它 被 部 署 到 金融 服务 公司 的 生产 环境 中 。 这 是 因为 ， 
对 于 这 些 公司 来 说 ， 采 用 不 稳定 的 技术 可 能 会 造成 巨大 的 损失 。 

口 实用 主义 者 多 于 创新 者 
通常 到 了 这 个 阶段 ， 实 用 主义 者 的 数量 会 超过 创新 者 的 数量 。 这 表明 对 稳定 性 的 需求 在 
增长 ， 因 为 现 有 产品 已 经 可 以 满足 市 场 的 需求 ， 对 新 功能 的 需求 在 减少 。 












































很 多 数据 管理 系统 已 经 到 达 了 企业 阶段 ， 例 如 Apache Hadoop、Apache Cassandra、Apache 
Kafka， 等 等 。 





2.1.7 终结 阶段 
开源 项 目的 最 后 阶段 有 点 邻 人 诅 形 。 虽 然 项 目 被 宣告 死亡 或 完全 关闭 的 情况 极为 罕见 ， 但 
它们 的 发 展 速度 会 放 缓 ， 直 至 停止 创新 。 
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项 目 之 所 以 会 进入 这 一 阶段 ， 一 个 主要 原因 是 它们 不 再 是 特定 领域 的 市 场 领导 者 。 这 可 能 
是 因为 项 目 创新 不 足 ， 项 目的 底层 硬件 假设 发 生 了 变化 ， 或 者 代码 库 和 项 目的 繁 文 痢 闻 阻 
碍 了 创新 。 














如 果 项 目 到 达 了 这 个 阶段 ， 并 不 一 定 意味 着 要 开始 寻找 其 他 的 解决 方案 一 要 知道 ， 人们 
现在 还 在 使 用 大 型 计算 机 ! 关键 是 要 了 解 项 目 是 如 何 进 入 这 个 阶段 的 ， 并 在 市 场 上 寻找 能 
够 给 未 来 应 用 场景 带 来 价值 或 可 以 重新 实现 现 有 解决 方案 的 项 目 。 


























另 一 个 重要 的 考虑 因素 是 这 些 解决 方案 对 架构 的 重要 性 。 一 方面 ， 如 果 项 目 处 于 架构 的 核 
心 ， 就 需要 仔细 考虑 在 什么 时 候 弃 用 它 。 另 一 方面 ， 如 采 它 起 到 的 作用 较 小 ， 那 么 过 渡 到 
新 的 解决 方案 可 能 会 更 有 意义 。 


2.2 ”开源 项 目的 常见 生命 周期 


在 定义 开源 项 目的 主要 阶段 后 ， 是 时 候 讨 论 一 些 例外 情况 了 。 并 非 所 有 的 开源 项 目 都 会 遵 
循 之 前 描述 的 整个 生命 周期 。 关 键 是 要 理解 为 什么 有 些 项 目 会 遵循 不 同 的 路 径 ， 这 会 影响 
对 项 目 当前 状态 的 理解 。 









































在 介绍 例外 情况 之 前 ， 先 来 回顾 一 下 开源 项 目的 默认 路 径 ， 如 图 2-1 所 示 。 




















图 2-1: 默认 的 开源 项 目 生 命 周 期 
仔细 看 一 下 生命 周期 中 的 每 个 阶段 。 


口 钥 化 阶段 
作为 组 织 的 内 部 项 目 ， 由 组 织 提 供 支持 。 


口 发 布 阶段 
成 为 开源 项 目 。 





口 被 遗忘 阶段 
可 翡 的 是 ， 虽 然 大 多 数 开源 项 目 在 刚 开始 时 有 很 好 的 意图 ， 但 从 未 得 到 广泛 采用 ， 很 快 
就 被 遗忘 
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口 治愈 癌症 阶段 


通过 炒作 〈 很 可 能 是 过 度 炒 作 ) 让 项 目 获 得 外 部 采用 ， 引 起 更 多 人 的 兴趣 ， 从 而 吸引 更 
多 的 贡献 者 。 


口 打破 承诺 阶段 
最 初 没有 参与 项 目的 人 开始 使 用 项 目 ， 项 目的 缺陷 开始 涌现 。 


口 失宠 阶段 
成 功 的 项 目 能 够 将 打破 承诺 阶段 作为 跳板 ， 将 自己 变 成 更 可 靠 的 项 目 。 而 那些 无 法 克服 
问题 的 项 目 终 将 被 放弃 和 遗忘。 








口 强化 阶段 
解决 项 目 缺 陷 的 漫长 过 程 ， 如 审计 、 安 全 和 故障 转移 。 


口 企业 阶段 
项 目 最 富有 成 效 的 阶段 。 在 这 个 阶段 ， 项 目的 大 部 分 炒作 已 经 消停 ， 大 多 数 人 已 经 清楚 
项 目 可 以 做 些 什么 以 及 不 适合 用 来 做 什么 。 


口 终结 阶段 
开源 项 目 生 命 周期 的 最 后 阶段 。 在 这 个 阶段 ， 贡 献 开 始 放 缓 ， 人 们 的 兴趣 转向 了 其 他 新 
技术 。 


在 定义 开源 项 目的 默认 生命 周期 后 ， 让 我 们 来 看 看 应 该 注意 的 其 他 生命 周期 。 


2.2.1 使 产品 起 死 回 生 

近年 来 ， 有 些 公司 已 经 从 专 有 解决 方案 转向 了 开源 解决 方案 ， 而 且 不 仅仅 是 大 数据 领域 如 
此 。 开 源 软件 为 公司 提供 了 诸多 优势 ， 例 如 更 低 的 成 本 和 更 少 的 供应 商 锁定 。 这 种 情况 导 
致 的 结果 是 : 一 些 产品 的 市 场 份额 被 开源 项 目 夺 走 。 要 重新 夺回 市 场 份额 ， 一 种 方法 是 重 
新 启动 产品 项 目 ， 有 时 候 甚 至 要 改 个 名 字 ， 并 作为 开源 项 目 开放 出 来 。 


但 实际 上 ， 这 样 做 很 少 会 起 作用 ， 原 因 如 下 。 



































口 产品 的 市 场 份额 已 经 枯 遇 
仍然 可 以 为 公司 提供 价值 的 产品 将 继续 占有 市 场 份额 ， 否 则 ， 公 司 会 寻找 更 强 有 力 的 解 
决 方案 。 

口 财源 与 开源 的 开发 方式 截然 不 同 
商业 软件 和 开源 软件 之 间 存在 编码 实践 和 文化 方面 的 差异 。 在 从 一 个 模型 转向 另 一 个 模 
型 时 ， 这 些 差异 可 能 是 难以 弥合 的 。 























口 不 愿 放手 
通常 ， 在 开源 一 款 产 品 时 ， 产 品 背 后 的 公司 不 愿意 放弃 控制 权 ， 而 放弃 控制 权 是 吸引 外 
部 开发 人 员 所 必需 的 。 在 不 放弃 控制 权 的 情况 下 开放 项 目的 方法 是 只 开源 产品 的 一 部 分 
代码 ， 或 者 将 代码 托管 在 公共 的 代码 仓库 中 (如 GitHub)， 而 不 是 捐赠 给 像 Apache 软 
件 基金 会 这 样 的 组 织 。 


口 老化 的 解决 方案 
新 想法 让 开源 世界 变 得 令 人 无 比 兴 奋 ， 而 旧 产 品 不 太 可 能 如 此 。 


这 些 问题 将 导致 开源 项 目 出 现 不 同 的 生命 周期 。 在 这 种 情况 下 ， 生 命 周 期 看 起 来 更 像 图 2-2 
所 示 的 那样 。 






































图 2-2: 使 产品 起 死 回 生 的 生命 周期 


2.2.2 ”追随 者 


虽然 企业 通常 使 用 开源 软件 来 降低 成 本 ， 但 仍然 可 以 从 开源 市 场 中 赚 到 钱 。 因 此 ， 很 多 项 
目 试 图 从 领导 者 那里 争夺 市 场 份额 一 一 我 们 将 这 些 项 目 称 为 “追随 者 "， 不 过 将 它们 称 为 
“竞争 对 手 ” 会 更 体面 一 些 。 追 随 者 通常 宣称 自己 比 领导 者 更 好 ， 因 为 它 解 决 了 领导 者 遗 
漏 的 问题 。 追 随 者 项 目的 生命 周期 看 起 来 更 像 图 2-3 所 示 的 那样 。 





















































图 2-3: 追随 者 项 目的 生命 周期 


追随 者 项 目 可 能 会 长 期 处 于 “治愈 癌症 ”阶段 。 这 是 因为 它 很 难 获得 像 领导 者 项 目 那样 的 
采用 率 ， 所 以 还 未 能 到 达 打 破 承诺 阶段 。 





应 该 关注 追随 者 项 目 吗 ? 答案 是 视 情况 而 定 。 这 些 项 目 可 能 会 获得 一 些 关 广 ， 但 要 注意 它 
们 是 否 到 达 了 打破 承诺 阶段 ， 并 开始 冲破 这 个 阶段 。 对 这 类 项 目 要 保持 谨慎 ， 因 为 它们 当 
中 有 很 多 往往 很 短命 。 此 外 ， 一 些 追 随 者 项 目 只 是 从 领导 者 项 目 那 里 借鉴 想法 和 实现 方 
法 ， 这 类 项 目 很 可 能 在 长 时 间 内 无 法 超越 领导 者 项 目 。 











尽管 以 上 描述 令 追 随 者 项 目 看 起 来 不 太 乐观 ， 但 一 定 会 有 取得 成 功 的 追随 者 项 目 ， 它 们 其 
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至 可 以 凭借 实力 超越 自己 并 成 为 领导 者 项 目 。Apache Flink 就 是 一 个 很 好 的 例子 。 它 最 初 
似乎 只 是 试图 填补 与 Spark 相同 的 利 基 市 场 ， 因 为 它 提 供 了 类 似 的 API。 但 是 ， 随 着 时 间 
的 推移 ，Flink 为 很 多 应 用 场景 提供 了 有 用 的 工具 ， 特 别 是 在 流 处 理 方面 。 作 为 批 处 理 引 
擎 ，Spark 可 能 比 Flink 更 强大 ， 但 Flink 提供 的 流 处 理应 用 程序 在 功能 和 性 能 上 都 具有 优 
势 ， 因 此 可 以 考虑 将 它 作为 Spark Streaming 的 替代 方案 。 


此 外 ， 在 某 些 情况 下 ， 领 导 者 在 追随 者 面前 会 显得 黯然 失色 。 在 选择 项 目 时 ， 人 们 会 考虑 
选择 追随 者 项 目 ， 而 不 是 领导 者 项 目 。Apache Storm 就 是 这 方面 的 一 个 例子 。 长 期 以 来 ， 
它 被 视 为 流 处 理应 用 程序 的 强 有 力 竞 争 者 。 但 近年 来 ， 其 使 用 量 在 减少 ， 人 们 转向 了 更 
新 的 解决 方案 ， 如 Spark Streaming。Spark Streaming 和 Flink 这 些 竞争 对 手 都 在 秆 勃发 展 ， 
而 Storm 这 样 的 领导 者 似乎 正在 走向 终结 阶段 。 


2.3 评估 基准 测试 
无 论 项 目 处 于 生命 周期 的 哪个 阶段 ， 都 会 不 可 避免 地 出 现 有 关 性 能 比较 或 基准 测试 的 品 
声 。 基 准 测试 有 一 定 的 参考 价值 ， 但 我 们 需要 抱 着 怀疑 的 态度 来 看 待 它们 。 

















































































































一 方面 ， 基 准 测试 可 以 告诉 我 们 哪些 技术 在 市 场 中 具有 竞争 力 ， 以 及 如 何 得 出 这 些 结果 。 
男 一 方面 ， 有 很 多 因素 会 影响 基准 济 试 的 有 效 性 。 


口 因 知 识 或 方法 不 完备 而 导致 的 错误 
执行 基准 测试 的 人 可 能 对 软件 没有 充分 的 了 解 ， 无 法 公平 地 对 待 所 有 测试 。 虽 然 测试 人 
员 希 望 进行 公平 的 测试 ， 但 由 于 误解 以 及 存在 缺陷 的 方法 ， 导 致 出 现 无 效 的 结果 。 例 
如 ， 测 试 人 员 因为 经 验 和 知识 不 足 ， 无 法 对 测试 涉及 的 所 有 工具 提供 相同 级 别 的 调 优 。 
另外 一 个 例子 是 评估 竞争 产品 。 


口 无 意识 的 偏见 
无 意识 的 偏见 会 导致 糟糕 的 测试 方法 、 对 竞争 产品 做 出 不 恰当 的 调 优 ， 等 等 。 这 些 都 会 
导致 结果 无 效 。 


口 动机 偏见 

在 某 些 情况 下 ， 偏 见 导 致 的 无 效 测 试 可 能 是 有 意 而 为 的 ， 还 可 能 为 了 展示 特定 工具 的 
优势 而 有 意 进 行 测试 。 当 执行 测试 的 组 织 与 测试 结果 有 利益 关系 时 ， 很 容易 出 现 这 种 
情况 。 



















































































口 不 公平 的 比较 
在 比较 两 种 工具 的 基准 测试 中 ， 有 时 候 只 采用 了 有 利于 其 中 一 方 的 用 例 或 工作 负载 ， 这 
也 是 一 种 很 常见 的 情况 。 











尽管 存在 上 述 问 题 ， 基 准 测 试 仍然 可 以 在 以 下 这 些 方面 为 我 们 带 来 价值 。 
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口 了 解 市 场 
基准 测试 可 以 告诉 我 们 哪些 项 目 具有 可 比 性 ， 从 而 知道 市 场 上 有 哪些 竞争 对 手 。 


口 找 出 市 场 领导 者 
如 果 有 多 个 基准 测试 都 在 与 某 个 工具 作 比 较 ， 那 么 这 个 工具 很 可 能 就 是 市 场 领导 者 。 


口 测试 脚本 

良好 的 基准 测试 会 将 测试 使 用 的 代码 、 配 置 和 测试 数据 共享 出 来 ， 其 他 人 可 以 使 用 它们 
来 验证 测试 结果 。 如 果 正 在 评估 的 基准 测试 没有 发 布 这 些 内 容 ， 那 么 它 的 结果 就 非常 可 
疑 。 出 于 可 重复 性 和 可 验证 性 方面 的 考虑 ， 基 准 测试 应 该 遵循 基 些 开放 标准 。 


最 后 ， 需 要 基于 数据 针对 有 具体 应 用 场景 进行 内 部 基准 测试 。 有 些 应 用 场景 很 独特 ， 公 开 的 
基准 测试 可 能 不 适用 。 通 常 ， 可 以 与 供应 商 或 外 部 专家 合作 ， 为 要 测试 的 工具 提供 配置 、 
调 优 等 方面 的 帮助 。 


2.4 技术 选 型 的 考虑 因素 


我 们 已 经 讨论 了 开源 项 目的 生命 周期 和 基准 测试 的 真实 情况 ， 那 么 如 何 将 它们 应 用 在 技术 
选 型 过 程 中 呢 ? 在 回答 这 个 问题 之 前 ， 先 来 看 看 一 些 会 推动 和 影响 决策 的 因素 。 

口 业务 需求 

要 实现 的 特定 用 例 和 需求 。 

口 内 部 需求 

团队 想 解决 新 的 问题 和 学 习 新 的 技术 。 

























































































口 渴望 保持 前 沿 
想 被 视 为 公司 的 先锋 。 


口 风险 承受 能 力 
想 避 免 失 败 和 当众 尴 伦 。 


口 压力 承受 能 力 
希望 系统 能 够 顺利 地 从 开发 环境 进入 生产 环境 ， 没 有 人 愿意 因为 未 知 的 问题 而 在 凌晨 一 
点 钟 接 到 求助 电话 。 


口 技能 差距 
根据 员工 现 有 的 水 平 ， 选 择 他 们 能 够 掌握 的 一 组 技术 。 
在 考虑 上 述 因 素 的 同时 ， 可 以 使 用 业务 需求 来 定义 一 个 范围 ， 从 而 确定 哪些 工具 与 选 型 过 


程 相 关 。 这 个 过 程 需要 考虑 到 功能 、 成 本 和 可 扩展 性 等 方面 。 以 下 将 提供 一 个 指南 ， 帮 助 
你 在 选 型 过 程 中 进一步 评 佑 解决 方案 。 
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2.4.1 


了 解构 建 块 


技术 发 展 得 很 快 ， 不 过 新 系统 通常 建立 在 已 有 的 架构 和 概念 之 上 。 以 Apache Kafka 为 例 ， 
然 它 可 以 比 以 往 的 系统 提供 更 高 的 数据 吞吐 量 ， 但 它 的 核心 实际 上 是 一 个 分 布 式 日 志 。 


虽 





已 人 











昔 鉴 了 传统 的 发 布 - 订阅 消息 传递 系统 的 概念 。 


这 个 例子 有 点 过 于 简单 ， 但 关键 在 于 ， 在 理解 一 项 复杂 的 技术 时 ， 首 先 要 将 它 分 解 ， 然 后 
将 各 个 部 分 与 我 们 已 经 了 解 的 系统 进行 比较 。 在 获得 实践 经 验 之 前 ， 这 个 过 程 有 助 于 了 解 
系统 的 潜在 局 限 性 和 优势 。 即 使 是 全 新 的 系统 ， 这 些 基 本 原理 仍然 适用 。 
































评估 大 数据 解决 方案 的 主要 组 成 部 分 


为 了 提供 更 多 细节 ， 下 面 列 出 了 一 些 示 例 ， 用 于 说 明 在 评估 大 数据 解决 方案 时 需要 注 
意 的 事项 ， 其 中 包括 了 一 些 主要 的 组 件 。 这 并 不 是 一 份 详尽 的 清单 ， 只 是 为 了 展示 在 
评估 技术 解决 方案 时 需要 考虑 的 事项 。 


存储 系统 组 件 


数据 与 数据 消费 者 的 相对 位 置 

数据 与 数据 消费 者 之 间 有 怎样 的 位 置 关 系 ? 举 个 例子 ， 直 到 最 近 ， 数 据 局 部 性 才 成 
为 Hadoop 分 布 式 文件 系统 (HDFS) 架构 的 核心 。 在 当今 的 云 计算 和 动态 计算 资源 
领域 ， 转 向 远程 存储 是 一 种 趋势 。 这 两 种 架构 方法 都 有 各 自 的 优点 ， 因 此 需要 根据 
应 用 场景 和 需求 对 此 做 出 评估 。 

压缩 格式 和 压缩 速率 

并 非 所 有 的 系统 都 采用 了 相同 的 压缩 方式 。 它 们 可 能 使 用 了 相似 的 压缩 编 解码 器 ， 
但 预 压缩 数据 的 格式 会 对 压缩 产生 巨大 影响 。 

数据 结构 

数据 的 布局 方式 会 对 访问 模式 和 存储 成 本 产生 巨大 的 影响 。 第 SS 章 将 讨论 与 存储 系 
统 相 关 的 问题 。 

分 区 、 复 制 和 故障 恢复 

用 于 分 布 式 系统 分 区 、 复 制 和 故障 恢复 的 模型 只 有 几 种 。 对 解决 方案 进行 分 类 ， 并 
根据 应 用 场景 来 比较 解决 方案 的 优点 和 缺点 。 

API 和 接口 

API 和 接口 是 进入 存储 系统 的 主要 窗口 。 请 确保 它们 对 系统 是 友好 的 ， 否则， 你 可 
能 会 拥有 一 个 很 出 色 但 对 你 毫 无 用 处 的 存储 系统 。 


处 理 引擎 


资源 分 配 
资源 分 配 将 极 大 地 影响 系统 的 可 扩展 性 以 及 同时 支持 多 个 用 户 的 能 








重 排 和 优化 
分 布 式 系统 的 主要 价值 之 一 是 能 够 优化 作业 并 根据 不 同 的 目的 来 移动 数据 。 需 要 对 
它 进行 分 类 ， 并 与 其 他 工具 进行 比较 。 
用 例 分 类 
不 同 的 执行 引擎 侧重 于 针对 不 同 的 用 例 进行 优化 。 
。 API 和 接口 
同样 ， 系 统 必 须 易 于 使 用 ， 并 且 可 以 使 用 已 有 的 工具 进行 访问 。 














2.4.2 ”寻求 建议 

作为 技术 决策 者 ， 你 一 定 知道 这 个 世界 上 并 不 存在 灵丹妙药 。 不 过 ， 即 使 是 最 有 经 验 的 技 
术 专 家 ， 也 可 以 从 外 部 指导 中 有 所 收获 。 与 顾问 或 分 析 师 合作 会 有 帮助 一 一 他 们 一 直 在 关 
注 技术 发 展 的 起 起 落落 ， 能 够 提供 更 清晰 的 技术 方向 。 























2.4.3 ”从 分 析 师 那里 获得 见解 


Gartner 和 Forrester Research 等 行业 分 析 公 司 是 评估 和 选择 解决 方案 的 另 一 个 潜在 指导 来 
源 。 可 以 参考 这 些 公司 发 布 的 报告 ， 或 者 与 这 些 公司 的 分 析 师 会 面 ， 从 而 得 知 他 们 的 分 析 
结果 。 一 般 来 说 ， 这 些 分 析 师 通过 与 供应 商 和 客户 召开 会 议 来 获得 分 析 结 果 ， 不 过 在 某 些 
情况 下 ， 他 们 也 会 自己 去 执行 测试 。 这 个 过 程 能 为 分 析 师 提供 广阔 的 市 场 视野 ， 包 括 市 场 
的 现状 、 哪 些 工 具 正 在 引领 市 场 ， 以 及 企业 是 如 何 使 用 这 些 工具 的 。 


























这 个 过 程 可 以 产生 有 价值 的 见解 ， 并 让 分 析 师 成 为 宝贵 的 资源 。 但 在 很 多 情况 下 ， 分 析 师 
的 数据 主要 来 自 与 供应 商 和 客户 的 对 话 ， 而 不 是 来 自 实际 使 用 产品 的 经 验 。 所 以 ， 这 可 能 
导致 偏见 。 例 如 ， 供 应 商 对 自己 的 产品 有 强烈 的 偏见 ， 客 户 也 无 法 客观 地 评估 自己 的 决 
策 ， 而 倾向 于 努力 捍卫 自己 的 技术 选择 。 

分 析 师 会 受到 有 意识 和 无 意识 的 偏见 的 影响 。 这 可 能 是 因为 供应 商 提 供 了 错误 信息 、 与 供 
应 商 或 客户 之 间 的 关系 ， 以 及 掌握 的 知识 不 充分 或 时 间 不 足 。 分 析 师 提供 的 一 些 据 称 客观 
的 报告 实际 上 也 有 特定 供应 商 的 参与 ， 而 这 种 情况 并 不 罕见 。 












































因此 ， 可 以 将 分 析 师 视 为 有 价值 的 资源 ， 但 请 将 他 们 的 意见 视 为 综合 评估 过 程 中 的 另 一 个 
可 变 因素 。 





2.4.4 研究 市 场 趋 势 





到 目前 为 止 ， 我 们 已 经 讨论 了 一 些 用 于 评估 项 目的 主观 资源 。 除 此 之 外 ， 还 可 以 参考 一 些 
客观 的 趋势 。 
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口 社区 兴趣 
了 解 与 解决 方案 相关 的 用 户 组 和 聚会 的 数量 (及 用 户 的 参与 程度 ) ， 这 可 以 很 好 地 衡量 
人 们 对 技术 的 感 兴趣 程度 。 


口 谷歌 趋势 
谷歌 趋势 也 可 以 很 好 地 衡量 人 们 对 项 目 或 技术 的 感 兴趣 程度 。 


口 GitHub 活动 
GitHub 可 以 体现 人 们 对 项 目 是 否 感 兴趣 以 及 项 目的 活动 情况 。 例 如 ， 可 以 了 解 项 目的 
贡献 者 数量 、 提 交 数 量 等 。 一 个 莲 勃 发 展 的 活跃 项 目 会 有 很 频繁 的 活动 。 如 果 某 个 项 目 
在 GitHub 上 看 起 来 很 安静 ， 那 么 就 要 小 心 了 。 




















口 Jira 问题 数量 
除了 GitHub 活动 之 外 ， 问 题 跟踪 系统 (目前 用 得 最 多 的 是 Jira) 的 活动 也 为 我 们 提供 
了 有 用 的 见解 。 例 如 ， 查 看 过 去 30 天 的 问题 数量 ， 无 论 这 些 问 题 是 处 于 打开 状态 还 是 
关闭 状态 ， 都 可 以 说 明 问 题 。 只 需要 访问 开源 项 目 主页 ， 并 查看 项 目 过 去 30 天 的 活动 。 
通常 ， 活 动 越 多 意味 着 人 们 对 项 目 越 感 兴趣 ， 对 项 目 提供 的 改善 和 功能 也 越 多 。 你 还 需 
要 了 解 有 多 少 公司 参 与 了 项 目 ， 从 而 真正 了 解 谁 在 使 用 这 些 技术 以 及 提交 者 的 多 样 性 。 


口 电子 邮件 列表 和 社区 论坛 
任何 活跃 的 项 目 都 会 有 活跃 的 电子 邮件 列表 或 在 线 论 坛 。 留 意 这 些 方面 的 活动 ， 它 们 的 
活跃 度 是 在 增长 还 是 在 下 降 ? 


口 技术 大 会 和 用 户 组 
和 鞍 勃 发 展 的 项 目 都 会 举行 相关 的 活动 ， 人 们 在 这 些 活 动 中 讨论 项 目的 情况 。 这 样 的 活动 
可 能 是 会 议 、 专 门 的 大 会 ， 或 者 活跃 的 用 户 组 社区 。 会 议 通 常 由 供应 商 主 持 和 赞助 ， 如 
果 有 可 能 ， 最 好 多 参加 由 开发 人 员 和 用 户 发 起 的 聚会 ， 因 为 供应 商 总 是 试图 借助 大 会 推 
广 自己 的 产品 。 


口 贡献 者 
谁 在 为 项 目 做 贡献 ? 理想 情况 下 ， 贡 献 者 应 该 是 一 个 多 元 化 的 群体 ， 成 员 来 自 多 家 公 
司 。 如 果 只 有 一 家 公司 在 项 目 开 发 中 占 主 导 地 位 ， 那 么 就 要 谨慎 地 评估 这 个 项 目 。 

口 资金 链 


最 后 一 个 方面 是 资金 链 。 参 加 技术 大 会 的 人 多 吗 ? 如 果 公 司 已 经 上 市 ， 那 么 股票 的 走势 
如 何 ? 市 场 上 是 否 有 竞争 对 手 ， 它 们 的 发 展 状况 是 怎样 的 ? 

























































































在 缩小 选择 范围 后 ， 需 要 考虑 需求 、 内 部 技能 水 平 、 风 险 承受 能 力 以 及 发 展 意愿 等 因素 。 
这 些 因素 是 面向 团队 的 一 一 你 需要 一 个 能 够 让 员工 和 公司 感到 自豪 并 乐于 参与 的 解决 方案 。 


























在 全 力 以 赴 开 始 项 目 之 前 ， 先 对 解决 方案 进行 测试 。 请 记 住 ， 不 一 定 要 局 限于 一 种 选 
择 一 一 可 以 同时 评估 多 个 解决 方案 ， 比 较 它 们 的 初始 进度 。 如 果 选 择 的 解决 方案 不 适合 你 
的 应 用 场景 ， 或 者 在 开发 过 程 中 遇 到 了 挑战 ， 可 以 改变 方向 ， 寻 求 其 他 解决 方案 。 




















2.5 小结 
与 其 他 技术 选 型 过 程 一 样 ， 选 择 大 数据 解决 方案 需要 先 定义 以 下 关键 项 。 
。 项 目的 需求 是 什么 ? 

公司 已 经 掌握 了 哪些 技能 ? 


。 公司 具备 多 大 的 风险 承受 能 力 ? 
。 有 怎样 的 时 间 表 和 预算 ? 























无 论 是 评估 开源 解决 方案 还 是 商业 解决 方案 ， 厘清 这 些 问 题 都 有 助 于 更 好 地 做 出 决策 。 此 
外 ， 在 选择 商业 解决 方案 时 使 用 的 资源 (例如 分 析 师 、 会 议和 同行 ) 同样 适用 于 开源 项 目 。 








不 过 ， 在 开源 世界 中 ， 为 了 能 够 彻底 评估 特定 的 解决 方案 ， 了 解 项 目的 生命 周期 是 非常 重 
要 的 。 此 外 ， 与 选择 商业 解决 方案 一 样 ， 能 够 在 做 出 决策 时 批判 性 地 评估 供应 商 的 承诺 和 
基准 测试 也 非常 重要 。 











本 章 主要 关注 技术 选 型 过 程 和 通用 的 考虑 因素 。 第 3 章 将 介绍 如 何在 选 定 技术 后 降低 风险 。 
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第 3 章 


数据 项 目的 风险 管理 





人 类 总 是 担心 这 担心 那 ， 但 通常 都 是 刀 人 忧 天 。 当 特 德 还 是 孩子 的 时 候 ， 他 浪费 了 很 多 时 
间 计 划 如 何 避 开 僵 己 的 攻击 ， 而 这 些 时 间 本 应 该 用 来 睡觉 。 人 们 总 是 担心 很 多 事情 ， 无 论 
是 现实 的 还 是 腾 测 的 ， 而 这 些 事情 可 能 永远 不 会 给 他 们 带 来 任何 影响 。 例 如 ， 人 们 害怕 遭 
到 约 鱼 攻击 或 妃 怖 袭击 ， 但 实际 上 ， 死 于 心脏 病 或 车 祸 的 概率 更 高 。 

软件 开发 也 是 如 此 。 在 开发 软件 项 目 时 ， 特 别 是 在 项 目 中 使 用 新 技术 时 ， 搞 清楚 应 该 担心 
什么 和 不 应 该 担心 什么 是 非常 重要 的 一 步 。 如 果 能 够 走 好 这 一 步 ， 风 险 可 能 就 会 变 成 机 
会 一 一 如 果 在 一 开始 就 了 解 项 目的 一 切 ， 那 么 还 有 什么 乐趣 ? 















































本 章 将 讨论 在 完成 技术 选 型 并 进一步 实现 项 目 时 如 何 管理 风险 。 本 章 的 重点 是 帮助 你 建立 
取得 成 功 的 方法 论 和 环境 ， 你 将 学 会 使 用 开发 原则 和 策略 来 管理 和 降低 风险 ， 设 定 切 合 实 
际 的 期 望 以 及 组 建成 功 的 团队 。 

3.1 风险 类 型 

在 深入 探讨 风险 管理 的 细节 之 前 ， 先 来 看 看 需要 在 项 目 规划 阶段 解决 的 各 类 风险 。 





























3.1.1 技术 风险 

任何 软件 项 目 都 存在 风险 ， 而 构建 大 型 、 复 杂 的 分 布 式 数 据 解决 方案 面临 的 风险 会 更 多 ， 
在 基于 不 熟悉 的 新 系统 构建 项 目 时 尤为 如 此 。 风 险 可 能 来 自 架 构 中 使 用 的 各 个 组 件 以 及 组 
件 之 间 的 交互 。 
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对 设计 系统 时 使 用 的 技术 不 熟悉 也 是 风险 的 潜在 原因 


来 管理 和 缓解 这 些 风险 。 


3.1.2 团队 风险 





























成 员 。 


3.1.3 ”需求 风险 


需求 风险 通常 来 自 定义 不 明确 的 需求 或 问题 ， 或 者 因为 
求 〈 特 别 是 在 采用 新 技术 时 )。 例 如 ， 延 迟 或 吞吐 量 需 求 超出 了 














围 蔓延 也 是 需求 风险 的 常见 来 源 。 








下 一 市 将 详细 介绍 这 些 风险 类 


3.2 ”风险 管理 


嵌 











， 并 讨论 如 何 管 理 它们 。 


























团队 的 处 到 








。 所 幸 的 是 ， 我 们 可 以 采用 一 些 策略 


团队 风险 是 指 与 实现 数据 解决 方案 的 内 部 团队 和 外 部 团队 相关 的 风险 。 这 种 风险 可 能 来 自 
内 部 团队 的 知识 和 实力 水 平 不 足 、 对 外 部 团队 的 依赖 ， 黄 至 可 能 来 





自 喜 欢 制 造 混 乱 的 团队 











团队 之 前 没有 处 理 过 某 些 类 型 的 需 


能 力 。 需 求 范 


本 市 将 从 一 种 方法 展开 讨论 ， 该 方法 根据 一 种 高 级 模型 为 系统 组 件 分 配 不 同 的 风险 级 


别 


供 一 个 用 于 量化 和 消除 这 些 风险 的 框架 。 





这 在 各 种 项 目的 实践 中 都 很 奏效 。 这 些 风险 级 别 包含 3.1 节 列 日 


3.2.1 ”对 架构 中 的 风险 进行 分 类 
这 种 方法 首先 将 架构 分 解 为 多 个 部 分 。 图 3-1 展示 了 如 何 拆 分 常见 的 数据 存储 和 处 理 系 统 。 








的 风险 类 型 ， 并 提 











访问 模式 











图 3-1: 将 系统 拆 分 为 高 级 组 件 


在 图 3-1 中 ， 我 们 将 系统 拆 分 为 数据 摄取 、 数 据 存储 、 数 据 处 理 、 数 据 输 出 和 访问 模式 。 


可 以 进一步 将 这 些 组 件 拆 分 为 更 多 的 子 组 件 ， 如 





图 3-2 所 示 。 








ETL 工 作 负载 


沙 地 存储 
区 域 














图 3-2: 将 系统 拆 分 为 子 组 件 


到 了 这 个 阶段 ， 我 们 通常 不 再 进一步 拆 分 系统 。 在 达到 这 个 级 别 之 后 ， 
义 接口 (3.4 节 将 讨论 接口 设计 )， 这 样 做 有 助 于 降低 发 生 故 障 的 子 系统 对 系统 其 余部 分 造 
影响 的 风险 。 现 在 ， 只 需要 将 整体 看 成 是 一 个 包含 很 多 独立 组 件 的 系统 ， 你 可 以 单独 开 


发 这 些 组 件 ， 将 风险 限制 在 每 个 组 件 的 内 部 。 
下 一 步 是 确定 用 来 实现 各 个 组 件 的 技术 ， 如 


图 3-3 所 示 。 然 后 ， 指 派 





要 为 每 个 子 组 件 定 





团队 成 员 开 发 各 个 


组 件 ， 并 评估 技术 和 开发 团队 的 风险 权重 。 我 们 将 从 技术 风险 开始 ， 简 短 地 讨论 一 下 这 个 


过 程 。 
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聚合 


其 他 存储 技术 





图 3-3: 确定 子 组 件 所 使 用 的 技术 





图 3-3 表示 已 经 完成 了 技术 选 型 ， 其 中 使 用 了 以 下 技术 。 





口 


口 Kafka 


用 于 缓冲 数据 流 。 


口 HDFS 和 对 象 存储 


用 于 数据 的 初始 化 加 载 和 长 期 存储 。 


口 Cassandra 


用 于 高 性 能 索引 存储 。 


其 他 
内 存 数 据 库 和 基于 搜索 的 系统 (如 Elasticsearch ) 。 








以 上 技术 选 型 示例 只 作 说 明之 用 ， 后 文 将 深入 探讨 选择 某 种 技术 的 原因 。 举 例 来 说 ， 第 5 
章 将 详细 讨论 存储 系统 ， 第 8 章 将 讨论 数据 处 理 系统 。 要 点 是 ， 在 初始 设计 阶段 就 选 好 技 
术 ， 如 果 某 项 技术 不 合适 ， 就 将 它 替 换 掉 。 接 下 来 看 一 个 例子 。 


假设 选择 了 一 个 NoSQL (例如 Cassandra 或 HBase) 作为 时 序数 据 库 的 基本 存储 。 刚 开始 
一 切 都 很 顺利 ， 但 在 项 目 进 入 后 续 阶 段 时 ， 就 会 磁 到 如 下 的 问题 。 


。 Cassandra 无 法 在 任意 给 定 的 节点 上 存储 足够 多 的 数据 , 那么 存储 成 本 就 会 成 为 一 个 问题 。 
。 处 理 数据 〈 例 如 压缩 数据 ) 的 HBase 或 Cassandra 后 台 进 程 开始 影响 性 能 。 

。 在 某 个 度量 指标 达到 一 定 的 数量 时 ， 聚 合 查询 的 成 本 会 变 得 非常 高 。 

。 性 能 方面 没有 问题 ， 但 供应 商 的 定价 会 成 为 一 个 问题 。 


因此 ， 初 始 技术 选 型 不 奏效 可 能 有 多 种 原因 。 所 幸 的 是 ， 如 果 遵 循 第 4 章 提供 的 有 关 在 架 
构 中 使 用 接口 的 建议 ， 就 可 以 在 不 对 现 有 设计 造成 重大 影响 的 情况 下 做 出 变更 。 






















































































3.2.2 技术 风险 

给 团队 或 技术 设 定 风险 权重 并 不 是 一 门 科学 ， 通常 可 以 根据 直觉 来 判断 。 如 果 某 项 技术 之 
前 在 生产 环境 中 使 用 过 ， 并 且 团 队 拥 有 丰富 的 经 验 ， 那 么 可 以 给 这 项 技术 设 定 较 低 的 风险 
等 级 。 相 反 ， 如 果 对 某 项 技术 几乎 没有 使 用 经 验 ， 那 么 应 该 设 定 较 高 的 风险 等 级 。 


此 外 ， 了 解 一 项 技术 通常 会 涉及 多 个 层面 的 知识 。 以 SQL 为 例 ， 团 队 可 能 拥有 多 年 的 SQL 
经 验 ， 但 对 于 在 较 新 的 “大 数据 ”查询 引擎 (如 Hive、Spark SQL、Cassandra CQL 或 Impala) 
上 使 用 SQL 没有 什么 经 验 。 并 非 所 有 的 查询 引擎 都 具有 相同 的 行为 ， 而 且 不 同 的 引擎 可 能 

持 或 不 支持 特定 的 SQL 功能 。 了 解 这 些 功 能 和 限制 是 用 好 这 些 系统 的 关键 ， 有 助 于 进一步 学 
习 除 查询 语言 之 外 的 知识 。 当 我 们 说 自己 了 解 某 项 技术 时 ， 应 该 已 经 彻头彻尾 地 了 解 它 。 















































有 时 候 ， 最 好 的 工具 就 是 已 经 知道 的 那个 
请 记 住 ， 一 个 问题 几乎 总 是 可 以 用 多 个 工具 来 解决 。 正 如 第 工 章 所 讨论 的 那样 ， 你 通 
常 可 能 已 经 在 使 用 这 些 工 具 。 如 果 有 多 个 组 织 (包括 你 的 组 织 在 内 ) 已 经 通过 某 个 工 
具 获 得 了 成 功 ， 那 么 就 可 以 安全 地 将 它 用 在 架构 中 。 
关键 在 于 团队 对 工具 和 项 目 需求 的 了 解 程度 。 这 有 助 于 了 解 该 工具 是 否 适 合 项 目 。 锤 
子 一 般 用 来 将 钉子 钉 入 墙壁 ， 虽然 也 可 以 用 它 来 开 弘 头 ， 但 那 绝 对 不 是 它 所 擅长 的 ， 
用 它 来 擦 窗户 也 不 合适 。 
简 而 言 之 ， 了 解 工 具 及 其 用 途 是 成 功 使 用 工具 的 关键 。 








3.2.3 团队 的 优势 
团队 的 风险 等 级 取决 于 个 人 对 团队 成 员 能 力 的 了 解 程度 ， 以 及 团队 过 往 完 成 任务 的 情况 。 
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下 


队 成 员 的 经 验 越 少 ， 团 队 的 风险 权重 就 越 高 。 














当然 ， 无 论 经验 水 平 如 何 ， 每 个 团队 都 会 有 不 同类 型 的 人 才 ， 他 们 擎 握 着 不 同类 型 的 技 
能 。 以 下 描述 了 一 些 典 型 的 开发 团队 类 型 ， 一 个 全 面 的 团队 应 该 至 少 具 有 其 中 某 些 角色 。 






































口 清道 夫 
清道 夫 对 细 贡 一丝不苟， 确保 项 目 具 有 完整 的 测试 覆盖 率 ， 让 代码 完全 处 于 版 本 控制 之 
答 签 
口 原型 设计 者 


原型 设计 者 喜欢 研究 新 软件 。 他 们 的 职责 是 测试 各 种 方法 ， 触 及 风险 区 域 ， 并 及 时 对 设 
计 方 案 做 出 修改 。 

口 主力 

主力 扮演 着 关键 角色 ， 因 为 他 们 将 完成 大 部 分 工作 。 











口 变通 者 
变通 者 渴望 学 习 和 成 长 ， 适 应 能 力 很 强 。 他 们 可 以 帮助 其 他 成 员 与 项 目 一 起 成 长 。 











口 谈判 者 
管理 项 目 以 及 与 外 部 团队 沟通 也 是 重要 的 任务 。 并 非 所 有 开发 人 员 都 擅长 这 种 沟通 风 
格 ， 所 以 需要 既 懂 技术 又 知道 如 何 跨 团队 工作 的 人 。 


此 外 ， 某 些 人 格 类 型 可 能 会 给 团队 带 来 危险 ， 并 对 项 目 产生 直接 的 影响 。 























口 “ 牛 仔 ” 程 序 员 
任何 做 过 技术 工作 的 人 都 熟悉 这 类 开发 人 员 一 一 他 们 更 愿意 以 自己 的 方式 独自 工作 。 他 
们 通常 是 高 效 且 有 才华 的 程序 员 ， 但 不 擅长 合作 。 他 们 能 够 比 普通 程序 员 完 成 更 多 的 工 
作 ， 但 通常 不 会 遵循 编码 规范 或 进行 良好 的 文档 化 。 有 些 时 候 ， 这 些 “ 和 牛仔” 是 一 种 资 
产 ， 但 他 们 无 法 与 团队 进行 良好 的 合作 并 遵循 标准 和 流程 ， 这 可 能 会 变 成 团队 的 负担 。 


口 有害 的 个 性 
每 隔 一 段 时 间 ， 团 队 中 就 会 出 现 一 些 成 员 ， 他 们 会 在 无 意 之 中 破坏 团队 的 凝聚 力 。 这 可 
能 由 多 个 因素 引起 一 一 比如 这 些 人 好 争论 ， 认 为 自己 的 解决 方案 是 最 好 的 。 矛 盾 的 是 ， 
这 些 人 通常 也 是 才华 横 溢 且 富 有 成 效 的 人 ， 但 他 们 对 团队 士气 和 生产 力 带 来 的 影响 通常 
会 超过 他 们 的 才华 给 团队 带 来 的 好 处 。 所 以 ， 要 避免 这 类 人 出 现在 团队 中 一 一 不 那么 有 
才华 的 人 或 许 会 更 好 ， 只 要 他 们 能 够 很 好 地 融入 团队 。 如 果 无 法 避免 ， 那 么 就 要 学 会 如 
何 管理 他 们 。 

































































此 外 ， 最 好 可 以 拥有 足够 多 的 团队 成 员 ， 这 样 每 个 组 件 就 可 以 至 少 由 两 个 人 人 负责。 让 团队 
成 员 交 叉 负责 其 他 组 件 ， 不 仅 会 带 来 更 好 的 组 件 覆 盖 率 ， 通 常 还 可 以 获得 更 好 的 结果 。 
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3.2.4 外 部 团队 风险 

除了 与 项 目 团 队 相 关 的 风险 之 外 ， 在 与 一 个 或 多 个 外 部 团队 沟通 时 也 存在 风险 。 如 果 这 些 
外 部 团队 开发 的 组 件 或 系统 对 项 目 团队 至 关 重 要 ,或 者 反 过 来 ， 项目 团 队 的 工作 对 外 部 团 
队 至 关 重 要 ， 那 么 这 种 风险 就 尤为 明显 。 如 果 你 的 成 功 直接 与 另 一 个 团队 挂钩 ， 那 么 就 要 
保持 警觉 和 尊重 。 明 确 责任 和 需求 有 助 于 实现 这 一 目标 。 此 外 ， 在 设计 需要 与 外 部 系统 发 
生 交 互 的 软件 时 ， 要 清晰 地 定义 接口 并 将 它们 文档 化 。 



































本 章 及 第 4 章 都 会 详细 讨论 接口 。 





3.2.5 ”需求 风险 

在 讨论 过 团队 风险 和 技术 风险 之 后 ， 接 下 来 讨论 需求 风险 。 这 种 风险 具有 不 同 的 表现 形 
式 。 其 中 一 种 是 定义 不 明 的 需求 ， 这 意味 着 后 续 需 要 进行 调整 ， 而 这 些 调整 会 引入 新 的 
风险 。 另 一 种 是 团队 之 前 未 曾 遇 到 过 的 需求 ， 例 如 服务 等 级 协定 (service level agreement， 
SLA) 和 延迟 指标 。 


明确 地 定义 功能 性 需求 有 助 于 降低 这 些 风险 。 如 果 将 功能 性 需求 视 为 非 技 术 性 的 合约 ， 就 
可 以 有 效 地 让 项 目 保持 在 正轨 上 。 本 章 稍 后 将 讨论 其 他 可 用 于 降低 需求 风险 的 方法 。 


将 需求 分 解 为 更 易于 管理 的 工作 块 是 降低 需求 风险 的 另 一 种 方法 。 举 个 例子 ， 有 个 客户 向 本 
书 的 一 位 作者 展示 了 一 份 上 百 页 的 系统 组 件 需求 文档 。 这 份 文档 来 自 一 家 咨询 公司 ， 用 来 帮 
助 客户 实现 解决 方案 。 事 实证 明 ， 咨 询 公 司 的 做 法 失败 了 。 这 份 需 求 文档 采用 的 方法 有 点 好 
高 敬 远 ， 导 致 客户 不 卉 重负 ， 不 知道 该 从 哪里 着 手 。 尽 管 文档 记录 了 他 们 的 需求 ， 却 仍然 无 
助 于 确定 切实 可 行 的 开发 时 间 表 以 及 需求 和 任务 的 优先 级 。 最 后 ， 这 份 文档 被 弃 用 了 。 









































在 弃 用 这 份 需求 文档 之 后 ， 他 们 开始 定义 高 级 需求 。 这 些 需 求 的 内 容 可 以 被 塞 进 单 页 文 
档 中 ， 并 附带 一 幅 解 决 方案 架构 图 。 图 3-3 给 出 了 这 个 架构 图 的 示例 。 其 中 定义 了 一 个 非 
常 重要 的 组 件 ， 如 果实 现 了 这 个 组 件 ， 就 可 以 提升 对 解决 方案 的 信心 。 在 这 个 有 限 的 范围 
内 ， 可 以 针对 所 选 组 件 进 行 概念 证 明 (proof of concept，PoC)。 根 据 从 PoC 中 获得 的 见 
解 对 高 级 需求 进行 调整 ， 然 后 识别 出 另 一 个 组 件 ， 以 便 进 行 下 一 个 PoC。 这 个 过 程 不 断 重 
复 ， 大 概 一 个 月 就 可 以 粗略 完成 整个 系统 的 PoC 。 









































其 结果 就 是 识别 出 了 风险 ， 开 发 团队 对 需求 有 了 更 深层 次 的 理解 ， 客 户 对 设计 更 有 信心 ， 
并 且 根 据 从 PoC 中 获得 的 见解 估计 出 实际 的 系统 部 署 时 间 表 。 








3.2.6 ”融会 贯通 
为 了 理解 这 一 切 是 如 何 与 创建 的 系统 模型 相 匹配 的 ， 先 来 回顾 一 下 之 前 讨论 过 的 风险 类 型 。 
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口 技术 风险 
团队 有 哪些 使 用 软件 开发 应 用 程序 的 经 验 ? 





口 团队 风险 
团队 的 经 验 、 团 队 里 有 哪些 类 型 的 成 员 、 对 其 他 团队 的 依赖 ， 等 等 。 
需求 有 多 大 风险 ? 


1. 分 配 风 险 权 重 

在 分 析 了 不 同 的 风险 类 型 后 ， 可 以 根据 分 析 结 果 为 创建 的 系统 模型 分 配 不 同 的 风险 权重 。 
如 果 将 所 有 风险 权重 考虑 在 内 ， 应 该 会 得 到 如 图 3-4 所 示 的 结果 。 请 注意 ， 这 张 图 在 印刷 
后 是 灰 度 图 ， 最 好 在 图 中 使 用 不 同 的 颜色 来 突出 显示 不 同 的 风险 级 别 。 

















Spark ETL 工 作 负 载 





风险 等 级 


中 等 风险 


低 风险 


Kafka 和 流 式 
数据 横 


其 他 存储 技术 
模型 存储 















图 3-4: 分 配 风险 权重 





注 1: 本 书 彩 图 可 到 http://ituring.cn/book/2641 查看 。 一 一 编者 注 
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深 色 表示 风险 级 别 较 高 ， 浅 色 表示 风险 级 别 较 低 。 


还 应 该 详细 解释 为 什么 某 些 组 件 被 分 配 了 较 高 的 风险 级 别 。 列 出 每 一 个 组 件 ， 然 后 附 上 组 
件 和 相关 需求 存在 的 风险 。 如 果 每 个 风险 都 带 有 一 个 简短 的 标题 ， 就 可 以 很 方便 地 在 讨论 
中 引用 它们 。 以 下 是 一 些 示 例 ， 列 表 中 的 每 一 项 都 标 有 风险 类 型 。 














口 Cassandra 
(1) 技术 经 验 (技术 风险 ) : 公司 内 部 的 Cassandra 经 验 很 有 限 。 
(2) 数据 模型 (需求 风险 ) : 需要 针对 用 例 验 证 数据 模型 的 正确 性 。 
(3) 正常 运行 时 间 (技术 风险 ) : 根据 SLA 需求 ， 存 储 在 Cassandra 中 的 数据 必须 为 用 户 
提供 99.99% 的 正常 运行 可 用 性 ， 这 超出 了 SLA 的 正常 处 理 能 力 。 











口 通过 Spark 批量 获取 数据 
失败 场景 (需求 风险 ) : 由 于 存储 层 有 问题 而 无 法 提取 数据 ， 不 知道 该 如 何 继续 。 





口 Kafka Streaming 
(1) 技术 经 验 (技术 风险 ) : 团队 第 一 次 构建 流 处 理应 用 程序 。 
(2) 零 数 据 丢 失 (技术 风险 ) : 要 求 零 数据 丢失 ， 因 此 引入 了 非常 复杂 的 技术 解决 方案 。 

















口 Spark ETL 
(1) 资源 可 用 性 (团队 风险 ) : 具有 Spark 经 验 的 团队 成 员 都 已 经 满 负荷 了 ， 这 意味 着 
需要 将 工作 分 配给 经 验 不 足 的 团队 成 员 。 
(2) 数据 模型 (需求 风险 ) : 数据 模 型 定义 的 不 确定 性 意味 着 可 能 需要 重新 实现 代码 。 


2. 最 大 限度 地 降低 风险 
在 评估 完 风险 级 别 之 后 ， 接 下 来 采取 措施 将 风险 降 至 最 低 。 我 们 之 前 已 经 讨论 了 一 些 步 
又 ， 接 下 来 通过 一 个 列表 进行 更 详细 的 介绍 。 


。 更 好 地 锁定 需求 ， 定 义 详细 而 精确 的 功能 性 需求 。 

。 传达 需求 并 获得 所 有 相关 人 员 的 认可 。 

。 明确 定义 项 目的 范围 并 得 到 相关 人 员 的 同意 。 

。 为 外 部 提供 接口 需求 和 协议 〈 稍 后 会 更 详细 地 讨论 这 方面 的 内 容 )。 抽 象 有 助 于 降低 架 
构 风 险 ， 因 为 它 让 组 件 的 重新 实现 或 者 在 必要 的 情况 下 替换 现 有 技术 变 得 更 加 容易 。 

。 优先 考虑 风险 较 高 的 事项 ， 为 解决 问题 提供 额外 的 时 间 。 

。 除了 上 述 的 建议 外 , 可 以 将 风险 较 高 的 技术 问题 分 配给 更 有 能 力 、 更 有 经 验 的 团队 成 员 。 

。 借助 外 部 资源 来 弥合 知识 方面 的 差距 (本 章 稍 后 将 介绍 更 多 这 方面 的 内 容 )。 

。 使 用 原型 和 PoC 来 降低 架构 风险 。 

。 使 用 风险 较 低 的 组 件 禁 换 风险 较 高 的 组 件 。 例 如 ， 在 假设 的 风险 细 分 场景 中 ， 我 们 可 能 
会 用 MapReduce 或 Hive 来 代 蔡 Spark ETL， 因 为 团队 成 员 对 前 者 更 熟悉 。 
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3.3 ”使 用 原型 和 PoC 


架构 中 的 某 个 组 件 可 能 无 法 达到 预期 ， 所 以 有 必要 制定 备用 计划 。 但 组 件 故障 会 影响 对 项 
目 或 计划 的 看 法 。 如 果 在 故障 对 项 目 产生 进一步 影响 之 前 就 让 它 失 效 会 怎样 ?下面 介绍 一 
些 方法 。 


3.3.1 找到 两 三 种 方法 

诀 容 很 简单 从 影响 范围 较 广 的 需求 开始 ， 通 过 头脑 风暴 讨论 出 两 三 种 方法 来 满足 这 些 需 
求 。 实 现 每 一 个 解决 方案 ， 然 后 进行 基准 测试 比较 。 这 样 做 有 助 于 选 出 最 佳 的 解决 方案 ， 
或 者 进一步 尝试 其 他 解决 方案 。 关 键 是 速度 要 快 可 以 将 这 些 解 决 方案 视 为 原型 。 这 个 
过 程 包括 以 下 要 素 ， 


系统 的 文档 质量 ; 
。 解决 方案 的 性 能 ， 如 吞吐 量 、 延 迟 等 ; 
。 不 同方 法 的 复杂 性 ; 
团队 成 员 掌 握 新 技术 的 能 力 以 及 他 们 对 技术 的 看 法 。 


3.3.2 ”进行 PoC， 然 后 丢弃 
PoC 是 验证 技术 或 方法 的 一 种 有 效 方式 。PoC 应 该 被 视 为 一 次 性 工作 ， 并 尽快 地 完成 。 
PoC 的 目标 是 在 有 限 的 时 间 内 尽 可 能 地 推动 需求 和 技术 向 前 发 展 。 在 PoC 成 功 之 后 ， 需 要 
重 写 代码 ， 甚 至 需要 让 不 同 的 开发 人 员 重 新 实现 大 部 分 内 容 。 这 将 带 来 以 下 好 处 。 
口 更 多 的 视角 

不 同 的 视角 可 以 更 好 地 验证 PoC 。 












































口 更 好 的 系统 
从 PoC 中 获得 的 经 验 和 知识 通常 有 助 于 构建 出 更 好 的 系统 。 


在 进行 PoC 时 通常 需要 避免 一 个 问题 ， 即 管理 层 在 看 到 PoC 结果 时 会 说 :“ 它 奏效 了 ! 赶 
紧 发 布 吧 。” 话 虽 如 此 ， 但 PoC 应 该 被 视 为 生产 版 本 的 最 小 可 行 产 品 ， 从 而 更 好 地 评估 解 
决 方案 的 适用 性 。 





3.3.3 部署 的 注意 事项 
在 以 前 ， 代 码 通常 被 部 署 到 手动 配置 的 服务 器 上 ， 需 要 根据 很 长 的 检查 清单 来 升级 或 搭建 
一 个 新 系统 。 在 部 署 新 代码 时 ， 缺 乏 可 靠 且 可 重复 的 变更 管理 流程 将 带 来 相当 大 的 风险 。 
成 熟 的 企业 通常 会 使 用 自动 化 软件 来 管理 和 执行 系统 变更 ， 这 些 自动 化 软件 包括 构建 系统 
(如 Jenkins)、 配 置 管理 系统 (如 Puppet 和 Chef) ， 以 及 容器 (如 Docker)。 通 过 使 用 这 些 
系统 可 以 极 大 降低 软件 部 署 的 风险 。 
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识 入 探讨 这 些 系统 超出 了 本 书 的 范围 ， 不 过 ， 这 里 要 说 的 是 ， 可 靠 且 可 复 用 的 构建 系统 和 
部 署 系统 是 快速 推进 项 目 并 降低 风险 的 关键 。 生 产 环境 的 很 多 问题 是 由 升级 、 配 置 变 更 、 
库 更 新 等 操作 引起 的 。 构 建 和 部 署 的 自动 化 程度 越 高 ， 在 生产 环境 部 署 过 程 中 发 生 问题 的 
风险 就 越 低 。 


3.4 ”使 用 接口 


接口 是 软件 开发 中 的 一 个 常见 且 重 要 的 概念 。 它 可 以 减少 组 件 之 间 的 耦合 和 依赖 ， 并 且 
降低 软件 架构 风险 。 项 目 级 别 或 架构 级 别 的 接口 设计 是 指 : 让 应 用 程序 的 不 同 部 分 与 架 
构 之 外 的 区 域 之 间 的 通信 模式 达成 一 致 。 这 个 概念 的 常见 实现 是 将 服务 层 作 为 前 端 Web 
应 用 程序 和 后 端 数据 存储 之 间 的 接口 。 可 以 通过 多 种 方式 来 实现 接口 : 描述 性 状态 迁移 


(representational state transfer，REST) 接口 、Java 接口 、Scala trait， 等 等 。 


























与 接口 相关 的 主题 非常 重要 ， 所 以 第 4 章 将 单独 讨论 如 何 设计 和 实现 灵活 且 
可 维护 的 接口 。 不 过 ,现在 先 简要 介绍 一 下 接口 如 何 帮助 我 们 降低 项 目 风 险 。 


























接口 是 如 何 降低 风险 的 呢 ? 一 种 方式 是 让 团队 单独 开发 系统 的 不 同 部 分 。 例 如 ， 前 端 团 队 
构建 接口 的 虚拟 实现 ， 从 而 继续 开发 、 测 试 和 部 署 他 们 的 Web 应 用 程序 ， 而 无 须 关 心 后 端 
团队 的 进度 。 图 3-5 展示 了 这 个 过 程 。 














模拟 后 端 














图 3-5: 接口 的 模拟 实现 


这 也 意味 着 后 端 团队 可 以 自由 地 在 实现 中 改变 存储 或 执行 引擎 的 策略 ， 而 不 会 影响 前 端 团 
队 的 工作 。 














使 用 精心 设计 的 接口 可 以 让 前 端 团队 和 后 端 团队 自由 地 修改 各 自 的 设计 和 实现 方式 ， 而 无 
须 咨 询 对 方 ， 只 要 遵循 定义 好 的 接口 即 可 。 各 个 团队 可 以 独立 地 进行 编码 、 负 载 测 试 、 单 
元 测试 等 ， 不 需要 相互 依赖 。 这 种 方法 的 另 一 个 好 处 是 可 以 显著 地 缩短 开发 时 间 。 





























良好 的 接口 设计 还 有 助 于 降低 沟通 风险 ， 因 为 它 将 系统 分 成 了 多 个 部 分 : 
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2 前 端 ; 

。 数据 摄取 ， 
. 流 处 理 ; 

。 存储 ， 
。 数据 库 ， 
。 批 处 理 ，; 

。 实时 处 理 ， 
。 监控 ，; 

。 审计 ， 

。 灾难 恢复 。 



































一 个 组 件 自 身 的 风险 几乎 不 会 对 其 他 组 件 产生 影响 ， 这 有 助 于 管理 风险 。 风 险 被 隔离 到 单 
独 的 组 件 中 ， 而 不 是 在 整个 项 目 上 。 当 某 个 组 件 发 生 故 障 时 ， 就 可 以 体现 出 这 种 设计 方式 
的 优势 。 首 先 ， 发 生 故 障 的 组 件 不 会 影响 其 他 组 件 的 进程 。 其 次 ， 当 故障 组 件 被 隔离 时 ， 
只 要 接口 设计 保持 不 变 ， 就 可 以 自由 地 修改 这 个 组 件 ， 甚 至 完全 重 写 它 。 


3.5 ”尽早 开始 构建 


公司 容易 掉 入 一 个 陷阱 一 一 在 所 有 需求 都 明确 之 后 才 开 始 开 发 软件 ， 这 通常 是 因为 担心 过 早 
开发 的 代码 会 被 丢弃 ， 金 钱 和 时 间 会 受到 损失 。 事 实 上 ， 尽 早 开始 开发 反而 会 带 来 一 些 好 处 。 


。 提高 开发 团队 的 参与 度 ， 让 他 们 更 好 地 了 解 需 求 ， 并 在 收集 需求 的 过 程 中 发 挥 更 积极 的 
作用 。 

。 尽早 清除 需求 中 的 问题 。 

。 可 以 提供 演示 , 这 非常 重要 , 原因 有 二 : 一 是 通过 向 外 界 展示 项 目 进展 来 降低 项 目 风 险 ; 
二 是 从 用 户 那 里 收集 反馈 ， 用 户 看 到 演示 后 通常 会 说 “ 它 跟 我 想 的 不 一 样 ”。 

。 如 果 出 现 问 题 ， 可 以 通过 多 个 方案 来 解决 ， 并 更 好 地 了 解 事情 的 来 龙 去 脉 。 


3.6 ”频繁 测试 并 保留 记录 
通常 ， 项 目 风险 可 以 用 数字 进行 量化 ， 例 如 响应 时 间 、 并 发 量 、 吞 吐 量 、SLA、 正 常 运行 


时 间 和 故障 转移 时 间 。 要 确保 记录 了 这 些 指标 ， 并 进行 定期 的 检查 和 评审 。 测 试 和 重新 测 
试 是 这 个 过 程 的 重要 组 成 部 分 。 


























团 






































假设 有 一 个 处 理 过 程 涉 及 批量 加 载 操作 ， 需 要 测试 否 吐 量 和 总 执行 时 间 。 为 了 尽早 完成 测 
试 ， 团队 使 用 数据 生成 器 来 创建 输入 的 测试 数据 。 基 于 生成 数据 运行 的 测试 最 终 得 到 了 很 
好 的 结果 ， 团 队 利用 这 些 结果 来 评估 整个 项 目 。 但 团队 并 不 知道 ， 生 成 数据 的 灶 非 常 低 
( 炳 可 以 衡量 数据 的 随机 性 )。 更 高 的 炉 意味 着 更 差 的 压缩 比 ， 而 更 低 的 炉 意味 着 更 好 的 压 
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缩 比 。 在 本 例 中 ， 低 炳 使 得 执行 引擎 的 压缩 编 解码 器 更 快 地 读 取 数据 和 写 入 数据 ， 并 且 更 
快 地 通过 网 络 发 送 数 据 。 


因此 ， 当 团队 开始 使 用 真实 数据 进行 测试 时 ， 他 们 惊讶 地 发 现 作 业 的 运行 速度 比 初始 测试 
时 要 慢 得 多 ， 而 且 资 源 占用 率 也 很 高 。 


从 这 个 例子 中 可 以 学 到 以 下 几 点 : 

















。 尽早 并 频 葵 地 测试 ， 

。 仔细 记录 测试 的 内 容 ， 

。 记录 测试 数据 与 真实 数据 之 间 的 差距 ， 

。 让 测试 尽 可 能 反映 生产 环境 的 情况 ， 

。 对 任何 度量 指标 都 持 半 信 半 颖 的 态度 ， 

。 始终 假设 得 到 的 测试 结果 好 得 有 点 不 真实 ， 

。 让 不 止 一 组 人 来 评审 测试 流程 、 基 准 济 试 ， 等 等 。 



































页 。 你 很 难 向 他 们 解释 为 什么 
今天 的 处 理 速度 会 是 昨天 的 十 分 之 如 果 试 图 在 事后 解释 测试 结果 之 间 的 差距 ， 人 们 
一 般 很 难 认为 这 是 情 有 可 原 的 事情 。 


3.7 ”监控 和 警报 


本 章 已 经 花 了 大 量 篇 幅 介 绍 如 何 规划 和 管理 架构 中 的 风险 ， 接 下 来 谈 谈 在 部 署 阶段 如 何 管 
理 风险 。 需 要 找到 一 种 方法 来 指定 和 跟踪 指标 ， 以 确保 系统 在 部 署 后 能 够 按照 预期 的 方式 
运行 。 为 此 ， 我 们 为 架构 中 的 每 个 组 件 都 定义 了 关键 绩效 指标 (key performance indicator， 
KPI) 。 每 个 系统 的 KPI 应 该 会 有 所 不 同 ， 但 一 般 来 说 ， 至 少 需要 3 个 KPI。《SRE: Google 
运 维 解密 》 一 书 对 这 3 个 KPI 给 出 了 定义 。 






























































口 吞吐 量 
吞吐 量 可 以 告诉 我 们 系统 正在 做 什么 以 及 可 以 做 到 什么 程度 。 





口 延迟 
系统 执行 给 定 的 操作 所 需 的 时 间 。 


口 错误 率 
给 定 的 操作 发 生 了 多 少 错误 。 


如 何 定义 KPI 和 构建 监控 系统 已 经 超出 了 本 书 的 范围 ， 但 有 很 多 参考 资料 〈 例 如 前 面 提 到 
的 图 书 ) 提供 了 细节 。 这 里 要 强调 的 是 ， 如 果 没 有 一 种 好 的 方式 来 监控 系统 ， 就 像 是 在 蒙 
着 眼睛 走路 。 在 项 目 经 过 实现 阶段 并 进入 生产 部 署 阶段 之 后 ， 定 义 这 些 KPI 并 构建 适当 的 
监控 系统 将 在 降低 项 目 风险 方面 起 到 重要 的 作用 。 
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3.8 沟通 风险 

只 在 口头 上 讨论 风险 ， 这 本 身 就 是 一 种 风险 。 如 果 过 分 强调 风险 的 现实 性 ， 那 么 项 目 之 外 
的 人 会 对 项 目 产 生 担 忧 ， 导 致 不 必要 的 人 员 介 入 。 在 一 家 大 公司 开发 软件 就 像 在 厨房 里 做 
饭 ， 不 必要 的 人 员 介 入 就 像 是 让 5 个 厨师 同时 制作 一 个 三 明治 。 此 外 ， 如 果 涉 及 办 公 室 的 
人 勾心斗角， 事情 会 变 得 更 糟糕 ; 机 会 主义 者 可 能 会 夺 走 你 的 项 目 ， 反 对 者 有 理由 质疑 设计 
中 的 每 一 个 小 问题 。 这 会 浪费 很 多 时 间 ， 给 团队 带 来 负面 影响 ， 并 损失 团队 的 名 誉 。 


低估 项 目 风险 也 是 一 种 风险 。 你 可 能 需要 寻求 帮助 ， 而 且 如 果 因 为 低估 了 风险 而 在 寻求 帮 
助 之 前 等 待 太 久 ， 可 能 会 错过 最 后 的 期 限 ， 导 致 系统 崩溃 或 数据 丢失 。 结 果 就 是 你 丢 了 项 
目 ， 其 他 人 丢 了 工作 ， 长 期 以 来 在 公司 的 努力 化 为 泡影 。 


因此 ， 不 难看 出 ， 如 有 果 未 能 以 正确 的 方式 向 外 传达 风险 ， 最 好 的 结果 是 只 对 项 目 造成 伤 
害 ， 而 最 差 的 结果 就 是 丢 了 饭碗 。 在 向 外 传达 风险 时 ， 沟 通 和 时 机 至 关 重 要 。 本 市 将 讨论 
一 些 策略 ， 一 方面 有 助 于 传达 风险 ， 另 一 方面 能 够 保护 项 目的 进展 。 


3.8.1 合作 并 获得 信任 
要 点 是 通过 与 组 织 中 的 其 他 人 员 展 开 密 切合 作 来 降低 风险 。 你 可 以 将 设计 理念 抛 给 其 他 
人 和 人， 让 他 们 贡献 想法 。 这 可 以 获得 多 种 好 处 。 


口 拥有 第 二 (或 第 三 、 第 四 ) 双眼 睛 
从 外 部 获得 的 额外 反馈 通常 可 以 提供 自己 想不到 的 见解 。 无 论 经 验 和 知识 水 平 如 何 ， 从 
不 同 的 角度 看 设计 都 会 带 来 好 处 。 

口 获得 信任 
通过 采用 他 人 的 设计 或 想法 来 获得 支持 是 一 种 非常 好 的 方法 。 当 别人 看 到 你 在 设计 中 采 
纳 了 他 们 的 想法 时 ， 他 们 会 认为 自己 为 你 的 成 功 做 出 了 贡献 。 


口 公开 讨论 风险 
如 果 将 风险 当 作 具 有 挑战 性 的 问题 来 解决 ， 不 仅 可 以 得 到 其 他 人 的 帮助 ， 还 可 以 让 高 层 
管理 人 员 解 决 超出 你 控制 范围 的 问题 。 

口 保持 可 控 并 展示 进展 
每 个 项 目 都 会 存在 问题 和 风险 ， 而 谈论 风险 和 传达 解决 风险 的 进展 是 在 向 其 他 人 展示 团 
队 解 决 问题 的 能 力 。 这 样 做 可 以 增强 团队 应 对 风险 的 信心 。 
























































































































































3.8.2 公开 风险 
如 前 所 述 ， 与 第 三 方 ( 如 咨询 顾问 、 供 应 商 或 来 自 其 他 部 门 的 可 信赖 成 员 ) 沟通 风险 有 助 
于 进行 风险 管理 。 假 设 第 三 方 在 项 目 要 解决 的 问题 和 架构 方面 拥有 丰富 的 经 验 ， 他 们 可 以 
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邮 











通过 多 种 方式 提供 帮助 。 


如 果 他 们 之 前 构建 过 类 似 的 系统 ， 就 可 以 帮 你 避 开 陷阱 ， 市 省 时 间 和 人 金钱 。 

帮 你 做 出 不 受 办 公 室 不 良 风气 影响 的 决策 。 

如 果 他 们 是 对 的 ， 并 使 项 目 取得 了 成 功 ， 你 应 该 会 很 开心 。 

一 点 可 能 是 最 重要 的 。 现 实情 况 是 ， 大 多 数 项 目 需要 借助 其 他 公司 构建 的 解决 方案 。 除 


非 身 在 谷歌 、 亚 马 逊 或 Facebook， 否 则 项 目 可 能 只 是 对 第 三 方 资 源 千 篇 一 律 的 实现 。 如 有 果 
真 的 想 降低 风险 ， 那 么 获得 专家 的 帮助 通常 是 一 种 可 靠 的 方法 。 


3.9 ”将 风险 作为 谈判 工具 


最 后 ， 将 项 目 风 险 作为 谈判 工具 ， 这 一 点 也 至 关 重 要 。 这 个 概念 似乎 有 点 违反 直觉 一 一 为 
什么 要 使 用 风险 以 及 如 何 使 用 风险 作为 谈判 的 手段 ? 事实 上 ， 有 时 候 利 用 风险 可 以 促进 项 
目 管理 ， 例 如 争取 更 多 的 资源 、 更 改 项 目 范 围 或 时 间 表 。 不 过 ， 在 选择 将 哪些 风险 用 于 谈 
判 以 及 如 何在 谈判 中 利用 这 些 风 险 时 ， 务 必要 谨慎 。 


适合 用 于 谈判 的 是 那些 与 业务 需求 有 密切 联系 的 风险 ， 它 们 可 以 为 谈判 提供 坚实 的 基础 。 


例如 ， 业 务 方 要 求 存储 TB 级 的 数据 ， 并 且 能 够 在 几 毫 秒 内 访问 数据 ;但 公司 只 有 MySQL， 
显然 并 不 适合 这 种 用 例 。 假 设 公 司 为 了 解决 这 个 问题 决定 使 用 NoSQL， 但 开发 团队 在 这 方 
面 没 有 太 多 经 验 。 缺 乏 经 验 是 一 种 风险 ,但 它 是 由 业务 需求 直接 带 来 的 。 


因此 ， 如 果 存 在 与 业务 需求 相关 的 风险 ， 可 以 在 规划 项 目 时 要 求 如 下 事项 : 





































































































额外 的 项 目 时 间 ， 
。 额外 的 资金 ， 用 于 咨询 第 三 方 专家 ， 
更 多 的 预算 ， 用 于 招聘 、 培 训 等 方面 。 

















需要 注意 : 如 果 管理 层 提 供 了 所 需 的 资源 ， 他 们 认为 风险 就 会 随 之 消失 ， 这 会 导致 他 们 的 
期 望 值 变 高 。 此 外 ， 如 果 不 断 提出 请 求 ， 业 务 方 可 能 会 怀疑 你 的 能 力 或 团队 交付 解决 方案 
的 能 力 。 因 此 ， 要 明智 地 提出 请 求 ， 并 了 解 清 楚 完成 项 目 所 需 的 资源 。 在 最 糟糕 的 情况 
下 ， 业 务 方 可 能 会 因为 感觉 到 失败 的 风险 而 取消 项 目 。 














因此 ， 在 进行 谈判 时 ， 请 搞 清 楚 可 以 请 求 什么 以 及 需要 什么 。 尽 可 能 保持 诚实 ， 因 为 无 论 
怎么 撒谎 ， 最 终 都 会 让 你 一 败 涂 地 。 


3.10 “小 结 
本 章 介绍 了 数据 项 目的 风险 管理 ， 以 及 如 何 销 除 和 最 小 化 风险 ， 几 种 风险 类 型 如 下 。 
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口 技术 风险 
与 技术 选 型 、 如 何 使 用 这 些 技术 来 创建 解决 方案 等 因素 有 关 。 


口 团队 风险 
来 自 项 目 团队 和 外 部 团队 的 风险 。 





口 需求 风险 
来 自 定义 不 明确 的 需求 或 者 团队 之 前 没有 遇 到 过 的 需求 ， 等 等 。 








然后 ， 本 章 介绍 了 消除 或 降低 这 些 风险 的 方法 。 





为 系统 建立 高 级 模型 ， 根 据 这 些 风 险 类 型 的 组 合 来 分 配 风 险 级 别 。 
。 消除 技术 和 架构 风险 ， 包 括 使 用 抽象 和 PoC 等 。 
。 组 建 强大 的 团队 ， 并 与 外 部 团队 合作 ， 一 起 应 对 挑战 。 
。 定义 可 靠 且 易于 管理 的 需求 。 
。 利用 外 部 资源 帮助 项 目 取得 成 功 。 
































本 章 还 讨论 了 沟通 风险 以 及 将 风险 作为 谈判 工具 。 确 保 已 经 将 风险 记录 下 来 ， 并 为 管理 





降低 风险 制订 计划 ， 这 些 对 数据 项 目的 成 功 至 关 重 要 。 


和 
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接口 设计 








使 用 海量 多 结构 数据 构建 数据 项 目 是 一 项 非常 复杂 的 任务 ， 在 很 多 方面 存在 溃 在 的 复杂 
性 ， 例 如 将 各 种 组 件 和 技术 集成 到 解决 方案 中 ， 支 持 大 量 的 并 发 用 户 和 不 同 的 处 理 模式 ， 
以 及 适应 不 断 变化 的 需求 和 技术 。 























在 设计 系统 时 ， 应 该 如 何 应 对 这 些 挑 战 ? 经 过 良好 设计 的 接口 能 够 帮助 我 们 构建 出 可 维 
护 、 可 扩展 且 可 适应 变化 的 解决 方案 。 本 章 将 重点 介绍 什么 是 好 的 接口 设计 ， 还 会 介绍 一 
些 非 功能 性 考虑 因素 以 及 一 些 常见 的 接口 示例 。 


4.1 人 体 


在 讨论 技术 之 前 ， 先 来 看 一 个 比 我 们 能 构建 出 的 系统 更 复杂 的 系统 。 这 个 系统 同样 使 用 
接口 和 目的 性 非常 强 的 子 系统 来 减少 依赖 ， 并 随 着 时 间 的 推移 适应 不 断 变化 的 状况 (不 
过 ， 它 需要 处 理 的 时 间 跨 度 比 我 们 构建 的 系统 所 要 处 理 的 更 大 ) 。 这 个 系统 就 是 人 体 。 如 
有 果 把 人 体 看 成 由 接口 连接 起 来 的 高 级 部 件 的 集合 ， 那 么 就 可 以 将 它 与 我 们 要 构建 的 系统 
进行 类 比 。 


4.1.1 人 体 与 数据 架构 
如 果 深 入 探究 人 体 的 主要 系统 ， 就 会 发 现 它 与 现代 数据 架构 有 一 些 有 趣 的 相似 之 处 。 让 我 
们 从 人 体 的 周围 神经 系统 和 中 枢 神 经 系统 谈 起 。 
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1. 周围 神经 系统 

周围 神经 系统 (peripheral nervous systetm，PNS) 是 连接 人 体 各 部 位 的 信息 管道 网 络 ， 用 来 
在 人 体 部 位 之 间 发 送 和 接收 信息 。 它 横 跨 我 们 的 身体 ， 接 收 来 自 感觉 器 官 的 信息 。PNS 将 
信息 传递 给 大 脑 ， 并 将 命令 发 送 到 其 他 系统 (如 肌肉 )， 指 示 它 们 做 出 动作 。 可 以 把 它 想 
象 成 身体 的 信息 高 速 公路 。 


分 布 式 数据 系统 与 PNS 有 很 多 相似 之 处 ， 最 明显 的 例子 就 是 像 Kafka 这 样 的 发 布 - 订阅 
模型 。 本 章 后 面 将 详细 讨论 发 布 - 订 阅 模型 。 现 在 ， 可 以 先 将 该 模型 简单 地 定义 为 一 个 系 
统 ， 它 具有 向 中 央 代 理发 布 数据 的 发 布 者 和 处 理 这 些 数据 的 订阅 者 。Kafka 在 数据 架构 中 
的 作用 如 图 4-1 所 示 。 在 这 个 示例 中 ，Kafka 接收 来 自 外 部 流 或 传感器 的 信息 ， 并 将 这 些 
信息 发 送 到 存储 系统 或 准 实时 (near real time，NRT) 的 处 理 系统 。 在 该 系统 中 ， 我 们 可 
以 基于 数据 做 出 决策 。 然 后 ， 这 些 决策 会 通过 Kafka 返回 ， 并 发 送 给 可 以 根据 决策 命令 采 
取 相 应 行动 的 服务 。 










































































接收 系统 上 














4-1: 数据 架构 类 比 周围 神经 系统 


2. 中 枢 神经 系统 

如 图 4-2 所 示 ， 中 枢 神 经 系统 (central nervous systetm，CNS) 由 神经 系统 中 更 有 目的 性 的 
部 分 组 成 ， 包 括 脑 和 次 髓 。 这 些 系 统 所 做 的 事情 不 只 是 传输 信息 ， 可 以 进一步 将 其 细 分 为 
具有 特定 功能 的 子 系统 。 脑 由 不 同 的 脑 叶 组 成 ， 例 如 负责 视觉 处 理 功 能 的 枕 叶 、 控 制 记忆 
和 语言 等 功能 的 额 叶 等 。 这 些 系 统 还 控制 着 人 体 的 其 他 系统 ， 例 如 肌肉 和 心脏 。 



































顶 叶 前 额 叶 














图 4-2: 中 枢 神经 系统 


如 果 将 其 与 大 数据 架构 联系 起 来 ， 那 么 脑 就 是 图 4-3 中 的 深 色 部 分 。 具 体 地 说 ， 脑 代表 了 
存储 、 见 解 、 逻 辑 和 准 实时 处 理 组 件 。 






























































图 4-3: 数据 架构 类 比 中 枢 神经 系统 
接 下 来 花 一 点 时 间 深 入 了 人 解 这 些 系统 以 及 它们 与 脑 之 间 的 关系 。 


口 存储 
正如 脑 有 长 期 记忆 和 短期 记忆 一 样 ， 数 据 架构 也 有 很 多 具有 不 同 存活 时 间 的 数据 存储 系 
统 。 另 外 ， 这 些 存储 系统 可 以 通过 多 种 方式 进行 索引 ， 就 像 脑 使 用 不 同 的 模式 来 存储 和 
检索 信息 一 样 。 
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口 见解 
可 以 将 见解 比 作 脑 中 的 反思 性 思维 ， 它 负责 处 理 传 入 信息 并 应 用 分 析 来 推动 决策 过 程 。 
在 数据 系统 中 ， 这 与 通过 SQL 和 机 器 学 习 等 工具 执行 的 分 析 活 动 有 关 。 








口 运 辑 
正如 脑 可 以 通过 分 析 传 入 信息 和 应 用 规则 来 做 出 决策 一 样 ， 数 据 系统 通常 也 包含 了 具备 
类 似 功 能 的 子 系统 。 


口 准 实时 处 理 
这 可 能 与 脑 对 外 界 刺激 做 出 快速 反应 和 驱动 响应 的 部 分 有 关 。 其 至 有 一 些 动作 是 在 不 经 
意 间 发 生 的 ， 我 们 称 之 为 “肌肉 记忆 ”动作 。CNS 中 的 逻辑 越 多 ， 系 统 处 理 输 入 的 速 
度 就 越 快 。 在 数据 系统 中 ， 可 以 将 其 与 流 处 理 引 警 等 系统 进行 比较 。 在 这 些 系统 中 ， 可 
以 执行 复杂 的 机 器 学 习 逻 辑 ， 并 以 毫秒 级 的 响应 时 间 做 出 决策 。 


3. 感官 

民 睛 、 皮 肤 和 耳 森 等 感官 可 以 帮助 我 们 收集 来 自 外 部 世界 的 信息 。 对 世界 的 实际 感知 是 在 
CNS 中 完成 的 ， 这 使 得 感官 系统 变 成 了 一 个 只 关注 信息 收集 的 解 耦 系统 。 此 外 ， 这 些 感官 
于 用 PNS 来 分 发 信息 。 

在 数据 架构 中 ， 任 何 可 以 产生 数据 的 部 分 都 相当 于 感官 。 它 们 可 以 是 部 署 在 节点 上 的 代 
理 、 输 入 应 用 程序 日 志 的 系统 或 设备 上 的 传感器 。 在 图 4-4 中 ， 感 官 就 是 传感器 ( 深 色 方 
框 )， 它 将 信息 发 送 给 Kafka 管道 。 






























































上 


























图 4-4: 数据 架构 类 比 感官 

4. 可 控 系 统 

某 些 系 统 可 以 通过 流 经 PNS 的 信息 来 控制 。 其 中 ， 有 些 控制 是 有 意识 的 ， 有 些 则 没有 意 
识 。 这 些 系统 包括 肌肉 、 心 跳 和 消化 系统 。 





在 数据 架构 中 ， 它 们 是 处 理 命令 的 应 用 程序 〈 这 些 命令 是 处 理 数 据 得 出 的 结果 )。 例 如 ， 
一 个 面向 用 户 的 应 用 程序 ， 其 中 一 个 命令 可 能 是 为 防范 欺诈 风险 而 锁定 某 人 账户 的 指令 。 
在 图 4-5 中 ， 可 挖 系统 就 是 从 Kafka 管道 接收 输入 的 系统 ( 深 色 方 框 )。 
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图 4-5: 数据 架构 类 比 可 控 系统 


5. 人 体 部 位 小 结 

在 进一步 讨论 接口 设计 之 前 ， 先 回顾 一 下 人 体 的 例子 。 需 要 理解 的 要 点 是 ， 不 同 的 系统 构 
成 了 一 个 更 大 的 系统 。 这 些 系 统 收集 数据 、 存 储 数据 、 处 理 数据 或 对 数据 做 出 响应 。 因 为 
存在 这 些 通信 ， 所 以 需要 明确 定义 接口 ， 并 达成 一 致 。 这 些 系统 非常 复杂 ， 并 且 独 立 运 
行 ， 我 们 需要 以 正确 的 方式 对 它们 进行 解 辜 。 对 于 复杂 的 数据 系统 来 说 同样 如 此 ， 接 下 来 
将 更 详细 地 讨论 解 耦 。 


























4.1.2 ” 解 耦 

在 设计 复杂 的 系统 时 ， 解 耦 是 一 种 常见 的 架构 模式 一 一 借助 组 件 之 间 的 接口 ， 系 统 组 件 可 以 
独立 运作 。 为 了 与 人 体 进行 比较 ， 以 心脏 和 脑 为 例 ， 如 图 4-6 所 示 。 要 正常 工作 ， 脑 依赖 于 
心脏 供血 ， 而 不 是 心脏 本 身 。 心 脏 可 以 被 不 同 的 “组 件 ” 取 代 一 一 例如 人 造 心脏 一 一 而 不 会 
影响 血液 对 脑 的 必要 性 。 因 此 ， 脑 与 血液 〈 而 不 是 输送 血液 的 系统 ) 之 间 存 在 耦合 关系 。 












































与 大 脑 解 看 








图 4-6: 解 辜 人 体系 统 
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解 耦 可 以 应 用 于 整个 人 体 。 人 体 由 数 万 亿 个 细胞 和 很 多 子 系统 组 成 。 子 系统 通常 是 独立 运 
作 的 ， 它 们 对 人 体 中 其 他 子 系统 的 运作 原理 和 内 容 知 之 其 少 。 心 脏 对 膀胱 一 无 所 知 ， 膀 胱 
也 不 关心 耳 朱 里 负责 平衡 的 器 官 。 脑 有 一 个 可 以 了 解 其 他 系统 的 窗口 ， 但 只 能 通过 PNS 文 
持 的 协议 来 传递 消息 。 脑 也 是 由 彼此 分 离 的 部 分 组 成 ， 每 个 部 分 都 有 自己 的 区 域 和 职责 。 


现代 医学 开始 利用 生物 学 完成 一 些 不 可 思议 的 事情 ,例如 绕 过 损伤 的 闪 柱 或 直接 通过 植 入 
大 脑 的 芯片 给 假肢 发 送信 息 ， 其 至 通过 一 定 的 电 刺激 让 再 生 的 真 肢 做 出 反应 。 一 些 实验 已 
经 通过 艇 入 式 已 片 将 摄像 头 信号 发 送 给 大 脑 ， 为 视 障 人 士 带 来 了 有 限 的 视力 。 


在 上 面 的 例子 中 ， 视 障 人 士 通过 摄像 头 获得 视力 ， 大 脑 并 不 知道 眼睛 已 被 替换 为 视觉 输入 
系统 。 大 脑 中 负责 解释 视觉 信息 的 部 分 会 处 理 来 自 摄像 头 的 信息 ， 就 好 像 这 些 信息 来 自 眼 
睛 一 样 。 
随 着 系统 的 增长 ， 软 件 架 构 变 得 越 来 越 复杂 ， 通 过 接口 设计 来 解 耦 系统 成 为 了 一 种 非常 重 
要 的 手段 。 良 好 的 接口 设计 可 以 在 不 影响 系统 完整 性 的 情况 下 添加 、 删 除 和 开发 系统 的 各 
个 部 分 。 当 子 系统 出 现 故 障 时 ， 可 以 进行 修复 ， 并 局 动 新 系统 来 替换 。 就 像 生物 体 一 样 ， 
架构 解 耦 让 我 们 能 够 开发 子 系统 而 不 破坏 整个 系统 的 功能 。 


可 以 通过 各 种 方式 来 实现 接口 设计 : 分 布 式 消息 系统 (如 Kafka)、REST、 公 共 API 以 及 
其 他 类 型 的 消息 (如 JSON、Avro 和 了 Protobuf ) 。 








































































































为 了 进一步 类 比 ， 可 以 把 Kafka 看 成 类 似 于 PNS 和 CNS 的 传输 媒介 ， 而 JSON、Avro 和 
Protobuf 是 通过 神经 发 送 的 消息 ， 如 图 4-7 所 示 。 


























4-7: 使 用 Kafka 解 看 
让 我 们 来 看 看 这 个 Kafka 架构 的 解 看 选项 。 


口 隔离 
如 果 系 统 A 停止 工作 ， 它 不 会 影响 系统 B， 系 统 B 会 一 直 等 待 系统 A 重新 上 线 。 反 之 ， 
系统 B 的 故障 也 不 会 影响 系统 A， 因此 可 以 独立 测试 系统 A 和 系统 B。 


口 重 放 
如 果 系 统 B 出 现 故 障 ， 可 以 通过 接口 和 Kafka 重 放 数 据 的 功能 来 重 现 问 题 。 不 仅 能 测 
试 故障 场景 ， 还 能 验证 新 版 系统 B 能 否 像 旧版 那样 对 数据 做 出 反应 。 
口 可 扩展 
在 Kafka 架构 中 ， 可 以 在 不 影响 系统 A 的 情况 下 添加 更 多 消费 主题 Y 数据 的 系统 ， 如 
图 4-8 所 示 。 
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图 4-8: 解 炮 系统 的 可 扩展 性 


4.1.3 解 耦 的 注意 事项 




















在 创造 假肢 的 过 程 中 ， 大 量 研究 工作 涉及 大 脑 向 身体 的 其 他 系统 发 送 命令 的 原理 。 例 如 ， 


指示 手掌 张 开 或 合 上 ， ee ei he 





一 块 肌肉 发 送 详细 的 命令 ， 但 随 着 了 解 的 深入 ， 科 学 家 发 现 大 脑 发 出 的 命令 会 在 负责 





理 和 执行 动作 的 系统 附近 被 解码 。 A es 
统 各 自 执 行 命令 的 细节 。 随 着 时 间 的 推移 ， 这 些 神经 通路 通过 反复 暴露 于 特定 的 刺激 而 





得 到 增强 。 























图 4-9: 解 看 人 体系 统 
可 以 把 这 个 概念 想象 成 肌肉 记忆 。 当 做 出 重复 性 的 动作 时 ， 如 运动 或 演奏 乐器 ， 练 习 会 带 








来 更 好 的 表现 。 实 际 上 ， 你 正在 优化 某 些 指令 的 操作 和 通信 ， 并 构建 出 执行 这 些 操 作 的 子 





例 程 或 模型 。 
























































在 分 布 式 数据 应 用 程序 的 世界 里 ， 可 以 将 优化 和 整合 看 作 从 临时 处 理 和 批 处 理 到 实时 处 理 





的 转变 。 临 时 处 理 和 批 处 理 将 始终 存在 ， 但 它们 应 该 能 够 让 你 更 接近 优化 处 理 。 就 像 形 成 
肌肉 记忆 可 以 更 好 地 完成 任务 一 样 ， 在 软件 架构 领域 ， 优 化 可 以 降低 SLA、 实 现 更 好 的 资 


























源 分 配 ， 并 促进 更 高 效 的 处 理 。 所 有 这 些 都 可 以 带 来 更 好 的 终端 用 户 体验 。 
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4.1.4 专门 化 


最 后 需要 考虑 的 方面 是 专门 化 。 以 CNS 和 脑 为 例 ， 脑 由 很 多 子 系统 组 成 ， 每 个 子 系统 都 有 
自己 的 区 域 和 职责 。 有 些 子 系统 用 于 不 同类 型 的 存储 ， 有 些 则 用 于 特定 的 处 理 和 访问 模式 。 

















想 想 大 脑 的 存储 系统 。 我 们 有 短期 记忆 、 感 觉 记 忆 、 长 期 记忆 、 内 隐 记 忆 和 外 显 记忆 。 为 
什么 会 有 这 么 多 记忆 类 型 ? 因为 相 比 只 有 一 个 通用 系统 ， 拥 有 多 个 子 系统 具有 进化 方面 的 
优势 。 这 些 记忆 类 型 具有 不 同 的 索引 策略 、 刷 新 机 制 和 老化 或 归档 过 程 。 软 件 架 构 也 一 
样 一 一 不 同类 型 的 系统 ， 如 关系 数据 库 、Lucene 搜索 引擎 、NoSQL 存储 、 文 件 系统 、 块 
存储 、 分 布 式 日 志 等 ， 支 持 不 同 的 存储 模型 和 针对 特定 应 用 程序 进行 优化 的 访问 模式 。 


大 脑 的 处 理 系 统 也 一 样 。 视 觉 解释 与 复杂 的 决策 是 截然 不 同 的 。 就 像 大 脑 一 样 ， 软 件 架 
构 中 也 有 不 同 的 执行 模式 和 优化 措施 ， 它 们 适用 于 不 同 的 用 例 ， 如 SQL、Spark、Spark 
SQL、NoSQL API、 搜 索 查询 等 工具 。 


4.2 ”什么 造就 了 好 的 接口 设计 


在 将 人 体 的 某 些 子 系统 与 软件 架构 中 的 组 件 相对 应 之 后 ， 让 我 们 来 看 看 是 什么 造就 了 好 的 
软件 接口 设计 。 可 以 将 接口 视 为 大 型 系统 的 脚手架 一 一 如 果 设 计 得 当 ， 系 统 可 以 使 用 很 多 
年 ， 并 且 随 着 时 间 的 推移 做 出 变更 ， 使 用 不 同 的 技术 来 实现 不 同 的 用 例 。 反 之 ， 它 就 是 一 
个 精 糕 的 设计 解决 方案 。 掌 握 接口 设计 方法 是 设计 出 可 靠 解决 方案 的 关键 。 




































































4.2.1 合约 


接口 实现 者 和 接口 用 户 之 间 的 合约 是 良好 接口 设计 的 核心 。 合 约 必须 明确 定义 接口 所 定义 
的 每 个 功能 的 输入 、 输 出 、 预 期 用 途 和 行为 。 


功能 规范 是 接口 的 核心 ， 接 口 的 非 功能 性 保证 则 是 次 要 考虑 因素 。 在 某 些 情况 下 ， 需 要 定 
义 次 要 考虑 因素 ， 比 如 预期 可 用 性 、 响 应 时 间 、 负 载 容 量 等 一 一 换 句 话说 就 是 接口 所 提供 
的 SLA。 本 音 后 面部 分 将 讨论 这 些 考 虑 因素 。 


4.2.2 ”抽象 

在 定义 接口 时 ， 实 际 上 是 在 建立 对 系统 的 抽象 一 一 系统 的 实现 不 需要 对 接口 用 户 可 见 。 因 
此 ， 可 以 将 技术 选 型 和 具体 实现 与 系统 用 户 解 厢 。 此 外 ， 还 有 多 种 选项 可 用 于 定义 接口 ， 
接 下 来 看 看 其 中 的 两 个 选项 。 

1. 非 编 程 语言 接口 

REST 是 高 级 非 编 程 语言 接口 最 常见 的 示例 。 一 般 来 说 ，REST 是 一 种 无 状态 的 客户 机 - 服 
务 器 端 接 口 ， 以 HITP 和 JSON 等 通用 标准 作为 基础 。 
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REST 以 简单 的 方式 为 后 端 服 务 提供 接口 ， 并 可 以 在 不 编写 代码 的 情况 下 调用 服务 一 一 也 
就 是 说 ， 通 过 Web 浏览 器 或 命令 行 调用 REST API。 这 样 就 可 以 非常 容易 地 测试 服务 调用 ， 
为 服务 创建 简单 的 客户 端 。 使 用 Java、Python 和 C++ 等 通用 编程 语言 创建 客户 端 接口 ( 简 
化 对 服务 的 编程 式 访问 ) 也 变 得 更 加 容易 。 


























通常 ，REST 命令 的 输入 和 输出 都 是 JSON， 这 是 一 种 人 类 可 读 的 格式 (尽管 有 些 人 可 能 会 
对 此 提出 异议 )， 非 常 适 合用 于 探索 性 的 工作 ， 并 且 得 到 了 通用 编程 语言 的 良好 支持 。 


2. 代码 接口 实现 

尽管 REST 是 实现 接口 的 一 种 常用 且 有 效 的 方式 ， 但 有 时 候 通 过 编程 API 实现 更 直接 的 客 
户 端 层 也 具有 优势 。 以 Kafka 生产 者 为 例 ， 它 可 能 涉及 分 区 、 缓 冲 、 批 处 理 和 一 些 复 杂 的 
协议 。 虽 然 已 经 有 了 一 个 Kafka REST 接口 ，Kafka API 仍然 提供 了 更 丰富 、 性 能 更 高 的 访 
问 接口 。 














你 的 目标 应 该 是 让 接口 变 得 更 加 通用 。 此 外 ， 开 放 性 也 很 重要 。 如 果 要 开发 部 署 在 产品 中 
的 代码 ， 但 这 个 产品 不 属于 你 ， 那 么 就 要 让 产品 团队 能 够 访问 实现 细节 。 并 不 一 定 要 访问 
源 代 码 ， 但 至 少 应 包括 文档 、 完 整 的 接口 定义 等 。 此 外 ， 保 持 实 现 的 开放 性 可 以 获得 外 部 
帮助 ， 从 而 更 好 地 清除 bug、 优 化 性 能 和 解决 问题 。 


4.2.3 版 本 控制 
版 本 控制 很 重要 ， 特 别 是 那些 被 备 种 应 用 程序 频繁 使 用 的 接口 。 请 注意 ， 向 后 兼容 性 很 重 
要 ， 却 令 人 头疼 ， 需 要 进行 额外 的 测试 和 规划 。 以 下 方法 可 以 减轻 它 的 副作用 。 

















。 让 迁移 到 新 版 本 变 得 更 容易 。 
不 要 频繁 地 更 改 API。 

。 主动 分 享 已 弃 用 的 调用 信息 ， 以 及 特定 版 本 支持 和 不 支持 的 内 容 。 

。 提供 发 布 时 间 表 。 这 将 有 助 于 内 部 团队 确定 交付 主要 功能 的 时 间 ， 并 通过 提供 可 预测 的 
更 新 来 促进 接口 消费 者 的 工作 。 

Kafka 的 版 本 控制 经 历 了 一 个 错误 的 阶段 ， 不 过 后 来 回 到 了 正轨 。 在 0.10 版 本 之 前 ， 如 有 果 生 


产 者 或 消费 者 的 版 本 与 代理 的 版 本 不 一 致 ， 就 有 可 能 发 生 故 障 。 随 着 0.10 版 本 的 发 布 ， 客 
户 端 能 够 告诉 Kafka 代理 自己 所 用 的 版 本 ， 然 后 代理 就 可 以 使 用 相应 版 本 的 协议 与 之 通信 。 






































除非 在 每 次 API 发 生变 更 时 都 进行 全 面 的 迁移 (从 规模 上 讲 ， 这 是 不 现实 的 )， 否 则 就 应 
该 预先 设计 一 个 强大 的 版 本 控制 解决 方案 ， 可 以 从 上 述 建议 开始 。 














4.2.4 防御 


虽然 定义 稳定 且 对 用 户 友好 的 接口 很 重要 ， 但 是 并 非 所 有 访问 系统 的 用 户 都 是 友好 的 
可 能 是 因为 糟糕 的 应 用 程序 实现 、 恶 意 行 为 或 设计 问题 。 
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因此 ， 必 须 考虑 到 其 他 人 会 如 何 利用 接口 来 损害 你 的 系统 ， 并 针对 这 些 意外 情况 做 好 准 
备 。 以 下 是 一 些 常见 的 状况 。 


口 倾 久 
如 果 系 统 采用 基于 分 区 的 解决 方案 ， 那 么 倾斜 会 带 来 数 不 清 的 麻烦 一 一 某 些 分 区 会 比 其 
他 分 区 大 得 多 。 找 到 发 生 倾斜 的 地 方 ， 并 在 造成 灾难 性 结果 之 前 制止 它 。 请 注意 ， 数 据 
倾斜 超出 了 本 书 的 讨论 范围 ， 但 它 的 确 是 一 个 潜在 的 问题 ， 在 设计 接口 时 需要 注意 。 


口 负载 
无 论 是 无 意 还 是 恶意 的 拒绝 服务 攻击 ， 都 有 可 能 给 系统 带 来 不 利 的 影响 。 采 取 措 施 找 出 
负载 峰值 ， 并 处 理 好 它们 。 


口 奇怪 的 输入 
如 果 将 输入 格式 设置 为 字符 串 ， 就 必须 假定 传人 系统 的 信息 可 以 是 任何 内 容 。 回 想 一 下 
SQL 注入 、 空 值 或 超大 数值 的 问题 ， 确 保 对 系统 的 所 有 输入 进行 验证 。 


4.2.5 接口 的 文档 和 命名 
在 理想 情况 下 ， 好 的 API 文档 应 该 简明 扼要 。 如 果 你 的 API 需要 一 本 书 来 定义 ， 那 说 明 它 
太 复 杂 。 任 何 API 或 接口 设计 者 的 目标 都 应 该 是 定义 出 不 需要 文档 说 明 的 接口 。 


文档 应 该 涉及 接口 的 行为 方式 、 使 用 方式 以 及 使 用 示例 。 
文档 需要 包含 如 下 重要 事项 。 


。 接口 提供 了 哪些 调用 (函数)。 

。 接口 定义 的 调用 参数 ， 包 括 格式 、schema、 数 据 类 型 等 。 

。 调用 输出 ， 包 括 格式 、schema、 数 据 类 型 等 。 

。 状态 需求 。 例 如 ， 服 务 需要 维护 状态 吗 ? 或 是 无 状态 的 服务 ? 

。 对 并 发 场景 的 支持 和 并 发 场景 中 的 行为 。 例 如 ， 文 持 多 个 请 求 。 
已 知 的 故障 或 可 能 的 例外 情况 。 


同样 ， 函 数 的 命名 也 应 该 简单 明了 。 在 理想 情况 下 ， 函 数 的 用 途 可 以 直接 从 函数 名 和 参数 
中 看 出 来 。 

尽量 避免 将 技术 解决 方案 放 在 函数 名 或 定义 中 ， 尽 可 能 将 函数 名 定义 为 动词 。 接 下 来 举 一 
个 现实 世界 中 的 例子 ， 并 将 其 与 计算 机 世界 联系 起 来 。 




























































































示例 是 调用 goToLocation(LocationId: String) 国 数 。 在 现实 世界 中 , 如 果 调 用 了 goToLocation 
CMarket")， 可 以 通过 步行 、 开 车 、 骑 自行 车 等 方式 来 实现 ， 但 不 会 让 它们 出 现在 函数 名 
中 。 函 数 名 需要 体现 的 是 函数 正在 执行 的 动作 (动词 )。 








66 | 第 4 章 








有 一 个 笑话 : 命名 是 软件 开发 中 最 困难 的 事情 之 一 。 我 们 发 现 ， 减 少 命名 时 间 的 最 佳 做 法 
是 重用 同一 生态 系统 中 其 他 优秀 项 目的 命名 风格 。 这 样 做 有 以 下 优势 。 

。 提供 了 可 遵循 的 指南 。 

。 提供 了 客观 的 外 部 参考 来 支持 决策 。 








， 无 论 曾 多 么 努力 地 设计 ， 一 两 年 后 回顾 时 ， 都 会 希望 自己 当时 能 够 做 得 更 好 。 这 就 
是 这 个 世界 的 本 质 。 以 简单 和 可 重复 为 目标 可 能 是 最 好 的 选择 。 


4.3 ” 非 功 能 性 考虑 因素 


前 文 提 到 ， 在 设计 接口 时 需要 考虑 一 些 次 要 的 非 功 能 性 因素 ， 包 括 系统 的 可 用 性 、 响 应 时 
间 和 人 负载 容量 。 本 市 将 探讨 这 些 考 虑 因素 。 











4.3.1 可 用 性 

所 有 接口 都 需要 指定 功能 性 合约 ， 用 于 定义 服务 访问 或 与 外 部 系统 交互 的 接口 还 需要 指定 
可 用 性 合约 。 如 果 是 为 本 地 程序 库 定义 合约 ， 那 么 定义 可 用 性 就 无 关 紧 要 了 。 但 是 ， 如 果 
接口 涉及 外 部 服务 ， 那 么 就 要 提供 明确 的 服务 可 用 时 间 和 服务 可 用 性 保证 级 别 。 


可 以 将 此 视 为 给 定 服 务 的 营业 时 间 ， 以 及 为 客户 承诺 营业 时 间 的 保证 级 别 。 在 现实 世界 


中 ， 超 市 和 影院 都 有 规定 的 营业 时 间 : 假设 超市 是 从 早上 6 点 营业 到 晚上 10 点 ， 影 院 是 
从 上 午 10 点 营业 到 午夜 12 点 。 



































根据 规定 的 营业 时 间 ， 我 们 对 超市 和 影院 的 开放 时 间 有 了 一 定 的 了 解 。 不 过 ， 可 能 会 发 生 
一 些 事情 扰乱 预期 的 开放 时 间 。 例 如 ， 在 暴风 雪 期 间 ， 影 院 可 能 会 关门 ， 而 超市 仍然 会 营 
业 。 在 这 种 情况 下 ， 可 以 认为 超市 比 影院 具有 更 高 的 保证 级 别 。 

















需要 有 两 种 可 用 性 定义 : 一 是 服务 何 时 可 用 ， 二 是 可 用 时 间 的 保证 级 别 。 


你 可 能 会 问 :“ 在 计算 机 世界 里 ， 服 务 不 应 该 总 是 可 用 的 吗 ? ”来 看 一 下 不 同 可 用 性 级 别 
的 示例 。 





口 计划 维护 时 间 窗 口 
通常 ， 服 务 会 有 一 些 不 可 用 的 计划 时 间 段 ， 用 于 对 服务 执行 维护 任务 ， 例 如 升级 软件 、 
应 用 补丁 和 替换 硬件 。 


口 只 在 特定 时 间 段 可 用 
有 些 服务 只 需要 在 规定 的 时 间 段 内 可 用 ， 例 如 只 可 以 在 营业 时 间 访 问 的 服务 。 随 着 云 技 
术 的 出 现 ， 以 及 按 下 按钮 就 能 启动 和 停止 服务 的 技术 出 现 ， 只 在 特定 时 间 段 内 提供 服务 
可 用 性 的 做 法 变 得 非常 实用 和 经 济 。 
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除了 这 些 预 期 的 可 用 性 时 间 窗 口 之 外 ， 还 有 很 多 因素 可 能 会 破坏 可 用 性 ， 比 如 硬件 故障 、 
网 络 故障 和 云 计算 中 断 等 。 因 此 ， 在 这 些 可 用 性 窗口 期 间 不 可 能 承诺 100% 的 正常 运行 时 
间 ， 不 过 有 一 些 方法 可 以 提高 正常 运行 时 间 百 分 比 ， 包 括 以 下 方面 。 


使 用 弹性 组 件 。 本 书 讨论 的 大 多 数 作 为 大 数据 应 用 程序 组 件 的 系统 ， 是 为 实现 高 可 用 性 
和 抗 故障 性 而 设计 的 。 例 如 ，Kafka 提供 了 一 种 可 扩展 、 可 复制 和 高 可 用 的 数据 集成 解 
决 方案 。 如 有 果 部 署 得 当 ，Kafka 可 以 提供 一 个 高 弹性 数据 集成 层 。 同 样 ， 大 数据 生态 系 
统 中 的 其 他 系统 也 可 以 在 数据 架构 的 其 他 层 (例如 存储 层 和 处 理 层 ) 中 提供 弹性 。 

为 系统 提供 元 余 。 即 使 是 最 具 弹 性 的 分 布 式 系统 ， 也 会 发 生 故 障 ， 因 此 在 任务 关键 型 系 
统 中 拥有 备份 系统 十 分 重要 。 这 是 一 个 复杂 的 话题 , 而且 实 现 元 余 的 机 制 也 因 系统 而 异 。 
有 关 如 何 部 署 这 些 系统 的 说 明和 详细 信息 ， 请 咨询 相关 的 供应 商 或 参阅 项 目 文档 ， 以 确 
保 具有 必要 的 可 用 性 级 别 。 

。 使 用 测试 ， 包 括 人 负载 测 试 和 故障 测试 。4.3.4 市 将 讨论 这 方面 的 更 多 内 容 。 










































































4.3.2 ”响应 时 间 
与 可 用 性 一 样 ， 响 应 时 间 也 不 可 能 是 完美 的 。 系 统 故障 、 垃 圾 回收 、 网 络 延 迟 等 因素 都 有 
可 能 影响 服务 的 响应 时 间 。 


我 们 的 目标 应 该 是 为 用 户 提供 一 系列 基于 时 间 百 分 比 的 保证 ， 它 们 应 该 经 过 验证 和 确认 ， 
如 下 所 示 : 


。 95% 的 时 间 里 响应 时 间 为 10 毫秒 ，; 

。 99% 的 时 间 里 响应 时 间 为 50 毫秒 ; 

。 99.99% 的 时 间 里 响应 时 间 为 1000 毫秒。 

使 用 接口 的 一 个 好 处 是 可 以 在 不 影响 系统 客户 端的 情况 下 提高 可 用 性 和 减少 响应 时 间 。 不 
过 ， 拥 有 一 个 测试 框架 也 非常 重要 ， 在 每 次 发 布 时 对 系统 进行 负载 测试 ， 这 有 助 于 确保 不 
违反 可 用 性 合约 。 























4.3.3 ”负载 容量 

负载 容量 定义 了 在 给 定时 间 段 内 可 以 处 理 多 少 请 求 ， 以 及 扩展 的 限制 。 同 样 ， 我 们 不 会 在 
合约 中 讨论 如 何 提供 负载 保证 ， 但 会 承诺 将 提供 的 负载 容量 级 别 。 与 可 用 性 和 响应 时 间 一 
样 ， 我 们 需要 向 接口 用 户 提供 详细 的 承诺 ， 请 看 下 面 的 示例 。 

当 每 秒 处 理 不 到 100 000 个 请 求 时 : 

。 95% 的 时 间 里 响应 时 间 为 10 毫秒 ， 

。 99% 的 时 间 里 响应 时 间 为 50 毫秒 ， 

。 99.99% 的 时 间 里 响应 时 间 为 1000 上 毫秒。 
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当 每 秒 有 100 000~200 000 个 请 求 时 





。 95% 的 时 间 里 响应 时 间 为 20 毫秒 ， 

。 99% 的 时 间 里 响应 时 间 为 100 毫秒 ; 

。 99.99% 的 时 间 里 响应 时 间 为 2000 毫秒 ， 
建议 不 超过 每 秒 200 000 个 请 求 。 








建议 尽量 让 这 些 负载 定义 简单 一 些 ， 并 在 适当 的 时 候 指 出 特定 的 限制 。 与 可 用 性 和 响应 时 
间 一 样 ， 必 须 对 每 个 发 布 版 本 进行 负载 测试 ， 并 密切 监控 生产 系统 的 活动 。 


4.3.4 使 用 测试 来 确定 SLA 
无 论 选择 了 怎样 的 架构 和 组 件 ， 真 正 能 够 确定 可 用 性 和 响应 时 间 保证 的 唯一 方法 是 对 系统 
进行 测试 。 测 试 需要 在 目标 部 署 环境 中 使 用 真实 数据 和 预期 负载 执行 。 














如 果 在 接口 中 声明 了 系统 不 受 节点 故障 的 影响 ， 那 么 就 应 该 在 测试 系统 和 生产 系统 中 定期 
测试 随机 节点 故障 。 如 果 对 在 生产 系统 中 进行 这 类 测试 有 所 顾虑 ， 那 么 说 明 对 系统 的 恢复 
能 力 缺 乏 信心 ， 需 要 更 多 地 考虑 系统 的 故障 恢复 能 力 。 




















如 果 不 在 系统 中 测试 和 模拟 故障 ， 你 只 能 纸上谈兵 。 如 果 声 称 系统 可 以 处 理 节 点 故障 ， 那 
么 就 不 应 该 在 凌晨 3 点 叫 醒 技 术 支 持 人 员 。 这 样 的 故障 应 该 在 意料 之 中 ， 而 且 系统 应 该 具 
有 自我 修复 机 制 。 


4.4 通用 接口 示例 
前 文 已 经 讨论 了 什么 是 好 的 接口 设计 ， 接 下 来 看 一 下 在 创建 系统 接口 时 通用 的 一 些 架构 模式 。 
4.4.1 发 布 -订阅 


我 们 要 讨论 的 第 一 个 模式 是 发 布 - 订阅 模式 ， 如 图 4-10 所 示 。 在 这 个 示例 中 ， 有 将 消息 发 
布 到 中 央 消 息 传递 系统 (代理 ) 的 组 件 ， 以 及 订阅 代理 特定 队列 的 组 件 。 






























消息 传递 
系统 

















图 4-10: 发 布 -订阅 系统 
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该 模式 的 中 心思 想 是 : 发 布 者 不 需要 关心 与 订阅 者 有 关 的 任何 事情 。 他 们 只 需要 关心 如 何 
发 送 消 息 ， 并 保证 消息 的 内 容 与 接口 所 定义 的 内 容 相 匹配 即 可 。 他 们 并 不 关心 谁 读 取 了 这 
些 消息 或 者 读 取 者 将 如 何 处 理 这 些 消息 。 















































在 基于 发 布 一 订阅 模式 开发 应 用 程序 时 ， 可 以 独立 地 开发 各 个 组 件 。 在 某 些 情况 下 (如 图 4-11 
所 示 )， 订 阅 者 的 开发 工作 已 经 完成 ， 但 发 布 者 的 开发 工作 仍 在 进行 当中 。 这 时 ， 可 以 创 
建 一 个 模拟 发 布 者 ， 让 开发 工作 和 测试 工作 继续 进行 ， 避 免 中断 发 布 者 的 开发 计划 。 











仍 未 完成 


真正 的 
发 布 者 







消息 传递 
系统 




















图 4-11: 使 用 发 布 - 订阅 系统 进行 解 耦 


企业 服务 总 线 
企业 服务 总 线 (enterprise service bus，ESB) 这 种 架构 与 发 布 - 订 阅 模式 有 些 类 似 ， 但 规 
模 更 大 。ESB 架构 通常 具有 以 下 特性 。 


口 传输 层 

需要 可 靠 且 可 扩展 的 管道 来 接收 消息 ， 并 将 它们 传递 到 一 个 或 多 个 目的 地 ，。 
口 发 布 者 

将 事件 发 布 到 消息 总 线 的 系统 。 

口 消费 者 

监听 和 消费 消息 的 系统 。 





口 工作 流 
包含 了 工作 流 逻 辑 的 系统 。 可 以 接收 事件 和 更 新 状态 ， 确 定 需要 做 出 怎样 的 动作 ， 以 及 
是 否 需 要 触发 其 他 事件 。 


口 异步 请 求 
还 可 以 使 用 异步 请 求 模式 。4.42 节 将 介绍 这 种 模式 。 
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口 仪表 盘 
仪表 盘 系 统 用 于 监控 ESB 的 状态 以 及 所 有 向 它 发 布 消息 的 系统 的 状态 。 


刚 进入 21 世纪 时 ，ESB 很 流行 。 然 而 ， 在 组 织 内 部 实现 ESB 时 ， 在 规模 和 协调 方面 存在 
一 些 问题 。 直 到 Kafka 和 集中 式 schema 存储 库 的 出 现 ，ESB 概念 才 卷 土 重 来 。 











4.4.2 ”异步 请 求 -响应 

我 们 已 经 讨论 了 发 布 - 订 阅 模式 ， 它 是 一 种 单 向 接口 ， 但 如 果 需 要 对 请 求 做 出 响应 ， 那 该 怎 
么 办 ? 这 个 时 候 可 以 使 用 请 求 - 响应 接口 。 接 下 来 先 介 绍 异 步 模式 ， 稍 后 再 讨论 同步 模式 。 
在 查看 示例 之 前 ， 先 来 看 一 下 什么 时 候 需 要 考虑 使 用 异步 请 求 - 响应 模式 。 


。 想 从 组 件 中 请 求 一 些 信息 。 

。 对 于 何 时 返回 响应 没有 严格 的 需求 。 

。 可 以 接受 重复 的 响应 。 

。 很 了 7 解 架构 的 资源 需求 ， 例 如 用 于 持久 存储 请 求 和 消息 队列 的 内 存 需 求 。 














如 果 这 符合 你 的 用 例 ， 那 么 可 以 参考 图 4-12 所 示 的 架构 示例 。 








消息 传递 系统 


"a 人 
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图 4-12: 异步 请 求 - 响应 架构 
让 我 们 来 看 看 图 中 的 一 些 组 件 。 


口 请 求 系统 
发 出 请 求 的 系统 。 





口 请 求 map 
种 数据 结构 ， 用 于 存放 已 提交 并 正在 等 待 响 应 的 请 求 。 因 为 存放 的 是 未 完成 的 请 求 ， 
所 以 会 占用 内 存 。 又 因为 内 存 是 有 限 的 ， 所 以 保存 未 完成 请 求 的 数量 也 是 有 限 的 。 


口 请 求生 产 者 
将 请 求 和 键 (用 于 索引 请 求 map) 一 起 发 送 到 消息 传递 系统 的 组 件 。 
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口 请 求 主题 





用 于 发 送 请 求 的 专用 队列 。 这 个 主题 可 以 共享 给 其 他 请 求 ， 但 最 好 在 主题 的 使 用 与 吞吐 





量 和 响应 时 间 之 间 保 持平 衡 。 此 外 ， 同 一 主题 中 的 请 求 应 该 被 发 送 到 相同 的 响应 系统 。 


口 响应 系统 


一 个 接收 请 求 并 返回 响应 的 系统 。 理 想 情况 下 ， 这 个 系统 本 身 没有 状态 ,但 可 以 与 有 状 


态 的 系统 协作 。 
口 响应 主题 














用 于 响应 消息 的 专用 队列 。 需 要 注意 分 配给 响应 主题 的 请 求 系统 的 数量 。 其 数量 越 多 ， 


被 请 求 系统 丢弃 的 响应 就 越 多 ， 因 





口 响应 消费 者 








为 它们 不 需要 那些 发 给 其 他 请 求 系 统 的 响应 。 


监听 响应 主题 的 消费 者 ， 使 用 请 求 map 将 响应 链接 回 发 出 请 求 的 原始 线程 。 如 果 该 请 
求 不 在 请 求 map 中 ， 说 明 响 应 已 经 被 处 理 ， 或 者 响应 针对 的 是 另 一 个 请 求 系 统 ， 只 是 


使 用 了 相同 的 响应 主题 。 








这 种 接口 设计 的 最 大 优点 是 可 以 解 看 请 求 的 处 至 





灵活 性 ， 以 便 将 结果 返回 给 请 求 者 。 





对 于 需要 花费 很 长 时 间 ( 儿 秒 到 几 小 时 ) 才能 处 型 
案 。 但 这 并 不 意味 着 不 能 将 它 用 在 更 加 实时 的 解决 方案 中 。 假 设 使 用 Kafka 作为 队列 ， 并 



































与 响应 ， 并 在 时 间 限 制 方面 为 响应 者 提供 








E 完 的 请 求 ， 这 通常 是 一 个 很 好 的 解决 方 


下 





在 返回 响应 之 前 做 一 些 基 本 处 理 ， 在 这 种 情况 下 ， 可 能 会 有 几 毫 秒 到 几 十 毫秒 的 往返 延 





述 ， 具 体 取决 于 所 查询 的 系统 。 


4.4.3 ”同步 请 求 - 响 应 








我 们 要 探讨 的 最 后 一 种 接口 是 同步 请 求 - 啊 应 ， 这 种 接口 对 响应 时 间 有 严格 的 SLA 要 求 。 
在 这 个 模式 中 ， 不 需要 使 用 队列 。 相 反 ， 只 需要 老式 的 Web 服务 器 。 如 图 4-13 所 示 ， 有 
一 个 请 求 系统 发 送 请 求 ， 然 后 等 待 响应 系统 返回 响应 ， 请 求 和 响应 发 生 在 单个 事务 中 ， 这 
在 响应 保证 、 减 少 延 迟 以 及 消除 重复 响应 方面 具有 优势 。 














请 求 系统 





响应 系统 











单个 同步 事务 























图 4-13: 同步 请 求 - 响应 架构 





这 可 能 会 带 来 扩展 性 方面 的 问题 ， 因 为 网 络 带宽 、 硬 件 资 源 等 因素 会 影响 响应 时 间 和 可 处 
理 的 请 求 数量 。 另 外 ， 在 应 答 系统 不 可 用 时 ， 也 面临 一 系列 的 挑战 。 如 果 担 心 Web 服务 器 
发 生 停机 或 过 载 ， 可 以 使 用 多 个 系统 ， 并 把 这 些 系统 部 署 在 具有 虚拟 IP 地 址 的 负载 均衡 器 
后 面 ， 如 图 4-14 所 示 。 很 多 Web 应 用 程序 基本 上 采用 这 种 架构 。 


响应 系统 


响应 系统 
















































VIP/ 负 载 均衡 器 





响应 系统 











4-14: 扩展 同步 请 求 - 响应 架构 


4.5 “小 结 


就 像 人 体 一 样 ， 可 扩展 和 可 维护 的 软件 架构 依赖 于 接口 和 抽象 。 设 计 良 好 的 抽象 有 助 于 将 
具体 的 实现 与 整体 架构 解压 。 这 种 解 耦 机 制 简化 了 开发 过 程 ， 因 为 可 以 为 服务 创建 模拟 实 
现 ， 并 且 不 受 系 统 内 部 实现 变更 的 影响 。 








我 们 可 以 通过 多 种 方式 实现 接口 ， 例 如 标准 API、REST 以 及 发 布 - 订 阅 系统 。 设 计 接 口 
的 选择 会 受到 架构 和 需求 的 影响 。 如 果 系 统 是 一 个 简单 的 Java 应 用 程序 ， 那 么 定义 Java 
API 可 能 就 足够 了 。 如 果 需 要 支持 多 种 语言 或 从 外 部 主机 访 癌 系统， 那么 可 以 考虑 使 用 
REST 接口 。 




















除了 功能 性 接口 之 外 ， 还 需要 注意 非 功能 性 需求 ， 包 括 定义 服务 的 可 用 性 、 响 应 时 间 和 和 负 
载 容量 。 

最 后 ， 在 创建 系统 接口 时 ， 可 以 考虑 几 种 架构 模式 ， 包 括 发 布 -订阅 模式 ， 以 及 异步 和 同 
步 的 请 求 - 响应 模式 。 
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第 5 章 


分 布 式 存储 系统 





第 4 章 讨论 了 接口 设计 。 本 章 将 讨论 数据 架构 中 可 能 会 用 到 的 分 布 式 存储 系统 。 在 讨论 各 种 
可 用 的 存储 系统 的 同时 ， 和 希望 你 能 够 渐渐 理解 为 什么 接口 对 于 设计 数据 应 用 程序 如 此 重要 。 
首先 ， 本 章 会 讨论 分 布 式 存储 系统 的 一 些 核 心 属性 ， 并 对 它们 进行 分 类 。 然 后 ， 将 深入 研 
究 一 些 当 前 广泛 使 用 的 分 布 式 存储 系统 。 我 们 将 从 讨论 这 些 属性 开始 ， 因 为 本 书 不 可 能 涵 
盖 所 有 的 存储 系统 ， 而 且 在 本 书 出 版 之 后 ， 会 涌现 更 多 新 的 存储 系统 。 所 幸 的 是 ， 在 深 入 
理解 分 布 式 存储 系统 的 基础 知识 之 后 ， 你 应 该 能 够 对 新 出 现 的 系统 很 好 地 进行 分 类 和 评估 。 


5.1 分 布 式 存储 系统 的 属性 


人 们 通过 多 种 方式 对 分 布 式 存储 系统 进行 分 类 一 一 有 一 些 很 有 用 ， 有 一 些 则 令 人 感到 困 
惑 。 本 市 的 目的 是 指出 在 为 数据 应 用 程序 评估 存储 系统 时 有 哪些 重要 的 考虑 因素 。 

请 注意 ， 第 2 章 讨论 了 评估 系统 的 注意 事项 ， 这 与 评估 存储 系统 的 注意 事项 有 一 定 的 关 
系 。 我 们 不 打算 在 这 里 重申 这 些 注意 事项 ， 但 牢记 它们 有 助 于 理解 本 章 。 


首先 讨论 当前 主要 的 分 布 式 存储 系统 的 历史 起 源 ( 剧 透 ， 其 中 大 部 分 源 于 谷歌 项 目 )， 然 
后 再 讨论 以 下 可 用 来 评估 和 分 类 存储 系统 的 标准 。 

































































口 分 区 
系统 如 何 管理 跨 节 点 的 数据 分 布 ? 


口 可 变性 
系统 支持 哪些 修改 数据 的 方式 ? 
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口 读 取 路 径 

如 何 访问 系统 中 的 数据 ? 

口 可 用 性 和 一 致 性 

在 系统 可 用 性 和 数据 一 致 性 方面 ， 系 统 做 出 了 哪些 权衡 ? 








口 用 例 
系统 解决 了 哪些 问题 ? 


5.1.1 谱系 

在 讨论 存储 系统 时 不 一 定 要 提 到 谱系 ， 但 考虑 到 分 布 式 存储 系统 的 复杂 性 ， 而 且 它 们 通常 
是 基于 现 有 系统 的 设计 原则 而 构建 的 ， 所 以 还 是 有 必要 提 及 它 。 这 里 讨论 的 大 多 数 系统 都 
源 于 谷歌 项 目 ， 比 如 谷歌 文件 系统 (GFS)、BigTable、Spanner 和 谷歌 搜索 。 








举 两 个 具体 的 例子 : Cassandra 和 HBase 是 基于 BigTable 构建 的 。 这 个 谱系 会 告诉 我 们 很 
多 有 关 这 两 个 系统 的 信息 ， 包 括 以 下 方面 : 














它们 的 架构 组 件 很 相似 ; 
它们 是 键 - 值 存储 系统 ， 
它们 具有 很 好 的 可 扩展 性 ， 
。 它们 将 排序 作为 在 磁盘 上 存储 和 索引 数据 的 一 部 分 ， 
。 本 质 上 ， 数据 是 不 可 变 的 ， 但 有 些 模式 允许 修改 数据 ， 
它们 旨 在 解决 相似 的 问题 例如， 快速 访 问 数据 记录 )， 并 具有 相似 的 性 能 特征 。 


图 5-1 是 当前 的 分 布 式 存储 系统 的 谱系 图 。 各 个 存储 系统 之 间 的 关系 可 能 存在 争议 ， 但 该 
图 仍然 是 探讨 分 布 式 存储 系统 谱系 的 一 个 很 好 的 起 点 。 另 外 ， 连 接线 并 不 代表 下 方 的 项 目 
就 一 定 是 上 方 项 目的 扩展 ， 它 只 是 表明 父 项 目 对 子 项 目 产生 过 重大 的 影响 。 




















可 以 通过 以 下 方式 来 看 待 这 些 项 目 之 间 的 连接 关系 。 





口 谷歌 项 目的 直接 后 次 
其 中 一 个 例子 是 从 GFS 到 Hadoop 分 布 式 文件 系统 (HDFS) 的 连接 。 这 个 连接 表示 开 
源 社区 创建 了 一 个 基于 谷歌 闭 源 解决 方案 的 开源 项 目 。 





口 受 启发 的 项 目 
其 中 一 个 例子 是 从 Parquet 到 Kudu 的 连接 。Kudu 最 初 的 想法 来 自 Parquet 列 式 文件 ， 
这 种 文件 类 型 具有 一 些 优 势 ， 例 如 更 高 的 压缩 率 和 更 快 的 读 取 速 度 。 


口 填补 空白 
其 中 一 个 例子 是 从 HDFS 到 对 象 存 储 的 连接 。HDFS 是 一 个 精 糕 的 对 象 存储 系统 ， 所 以 
后 来 出 现 了 可 以 更 好 地 支持 对 象 存 储 的 数据 存储 系统 。 
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谷歌 Dremel 
GFS 
文件 格式 区 十 
pa Parquet 谷歌 
歌 Spanner HDFS j 
文件 格式 am 
谷歌 
搜索 
5 MongoDB 
Cockroach Ro 


图 5-1: 分 布 式 存储 系统 谱系 

















5.1.2 分 区 


因为 分 布 式 存储 系统 使 用 了 分 区 ， 所 以 具有 很 好 的 可 扩展 性 一 一 分 区 指 系 统 如 何 确定 要 在 
哪些 节点 上 存储 数据 ， 换 名 话说 ， 它 就 是 一 种 在 整个 系统 中 分 布 数据 的 机 制 。 通 常 ， 分 布 
式 存储 系统 的 分 区 类 型 是 有 限 的 ， 仅 有 集中 式 分 区 、 区 间 分 区 和 散 列 分 区 。 下 面 将 逐一 介 


绍 这 些 分 区 类 型 。 


1. 集中 式 分 区 
GFS 和 HDFS 等 存储 系统 使 用 了 集中 式 分 区 ， 该 分 区 类 型 依赖 单个 服务 决定 数据 将 驻 留 在 
哪个 节点 上 。 这 种 分 区 类 型 有 一 些 优点 ， 但 缺点 也 很 明显 ， 因 此 它 用 得 越 来 越 少 。 


这 类 系统 的 优点 是 ， 即 使 数据 节点 发 生 故 障 ， 中 央 节 点 也 可 以 确保 数据 均匀 分 布 。 中 央 服 
务 知道 所 有 市 点 的 位 置 ， 并 且 可 以 在 任何 时 候 将 数据 分 派 给 这 些 市 点 。 

这 类 系统 的 缺点 是 存在 潜在 的 瓶颈 ， 因 为 只 有 一 个 元 数据 服务 ， 所 以 会 受到 内 存 和 多 租户 
环境 中 请 求 吞 吐 量 的 限制 。 

此 外 ， 集 中 式 分 区 系统 会 借助 一 种 算法 ， 该 算法 根据 系统 的 当前 状态 在 市 点 上 放置 数据 。 
当 我 们 转向 其 他 类 型 的 分 区 时 ， 会 发 现 它们 没有 将 系统 的 当前 状态 作为 分 区 的 决策 因素 。 
这 是 因为 大 型 分 布 式 系统 的 状态 维护 成 本 很 高 ， 而 这 种 成 本 会 影响 到 性 能 和 可 扩展 性 。 




































































区 
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2. 区 间 分 区 
区 间 分 区 是 另 一 种 常见 的 分 区 机 制 ， 它 已 经 被 用 在 HBase 和 Cassandra 等 系统 中 。 但 是 ， 
Cassandra 默认 情况 下 会 为 键 添加 一 个 散 列 值 。 

















字典 (老式 的 硬 复制 类 型 )》 是 区 间 分 区 的 一 个 很 好 的 例子 。 在 字典 中 ， 字 母 表 中 的 每 个 字 
母 都 有 一 个 对 应 的 区 间 分 区 。 只 要 看 一 下 字典 就 应 该 知道 ， 区 间 分 区 策略 存在 一 个 根本 性 
问题 一 一 倾斜 。 














当 一 个 分 区 的 内 容 明 显 多 于 其 他 分 区 时 ， 就 会 出 现 倾斜 。 在 字典 中 ,字母 S 和 T 对 应 的 单 
词 比 X 和 乙 对 应 的 要 多 得 多 。 这 对 于 字典 来 说 不 算 太 粳 糕 ， 但 对 于 分 布 式 系统 来 说 ， 这 会 
导致 某 些 节 点 比 其 他 节点 做 的 工作 更 多 。 可 以 通过 散 列 来 解决 这 个 问题 。 


3. 散 列 分 区 

在 计算 机 科学 领域 ， 散 列国 数 通常 用 来 将 给 定 的 值 映 射 到 某 个 有 限 区 间 。 在 Java 中 ， 字 符 
串 ted 和 jon 的 散 列 值 分 别 是 114767 和 165417。 接 下 来 ， 看 看 这 个 看 似 随机 可 重复 的 数字 
如 何 帮 助 我 们 将 不 同 的 记录 放 进 不 同 的 分 区 中 。 






































val recordkey = "ted" 


val hashCode = recordKey.hashCode 
//hashCode = 114707 


val absHash = Math.abs(hashCode) 
// 需 要 使 用 绝对 值 ， 因 为 散 列 值 可 能 为 负 
//absHash = 114707 





val numOfPartitions = 10 


// 分 区 数量 根据 数据 表 来 定义 
// 找 到 散 列 的 模 和 分 区 数量 


val destinationpPartition = absHash % numOfPartitions 
//destinationpartition = 7 





散 列 与 倾斜 问题 有 什么 关系 呢 ? 有 效 的 散 列国 数 〈 以 及 巧妙 地 使 用 散 列 键 ) 可 以 在 分 区 之 
间 均 匀 地 分 布 数据 ， 确 保 数据 均匀 地 分 布 在 集群 中 。 


某 些 系 统 (如 Cassandra 或 Elasticsearch) 使 用 了 散 列 分 区 ， 但 通常 使 用 区 间 分 区 的 系统 也 
可 以 使 用 散 列 分 区 ， 方法 是 在 键 前 面 添 加 一 个 散 列 值 。 


























5.1.3 ”处理 数据 变更 

除了 分 区 策略 之 外 ， 分 布 式 存储 系统 的 另 一 个 重要 考虑 因素 是 如 何 处 理 数据 变更 。 当 我 们 
提 及 数据 变更 时 ， 实 际 上 说 的 是 如 何 处 理 存 储 在 系统 中 的 记录 的 变更 。 常 见 的 分 布 式 存储 
系统 针对 特定 类 型 的 数据 和 访问 模式 进行 了 高 度 优化 ， 并 提供 了 不 同 的 方式 来 处 理 数 据 变 
更 。 接 下 来 将 次 入 探讨 存储 系统 中 不 同类 型 的 数据 变更 模式 。 
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1. 仅 追 加 
一 个 需要 考虑 的 因素 是 能 否 在 原 地 修改 数据 。 某 些 存储 系统 仅 允 许 追 加 数据 ， 就 像 将 新 日 
志 行 追加 到 日 志 中 或 者 将 新 文件 添加 到 文件 夹 中 一 样 。 在 写 入 新 日 志 或 添加 新 文件 后 ， 就 
无 法 修改 日 志 或 文件 中 的 值 了 。 以 HDFS 为 例 ， 你 可 以 删除 和 重 写 文 件 ， 但 无 法 修改 文件 
中 的 内 容 。 


你 可 能 会 问 : 为 什么 要 构建 这 种 支持 仅 追 加 模式 的 存储 系统 ?这 是 因为 ， 在 原 地 修改 数据 
并 不 是 一 件 容易 的 事情 。 你 要 么 有 固定 的 数据 结构 ， 而 这 些 数据 结构 可 能 具有 较 低 的 压缩 
比 ， 要 么 需要 重 写 很 多 数据 块 。 因 此 ， 在 存储 大 量 各 种 各 样 的 数据 时 ， 固 定 的 数据 结构 会 
造成 资源 浪费 。 此 外 ， 对 于 低 延 迟 的 存储 系统 来 说 ， 重 写 大 型 数据 集 的 开销 会 很 大 。 稍 后 
将 讨论 一 种 更 好 的 追加 和 压缩 方法 ， 所 有 基于 不 可 变 文件 的 NoSQL 系统 都 采用 这 种 方法 
来 模拟 数据 变更 。 


2. 文件 与 记录 

另 一 个 需要 考虑 的 因素 是 发 生变 更 的 级 别 - 是 文件 级 别 还 是 记录 级 别 。 你 可 能 已 经 猜 到 
了 ， 在 基于 文件 的 系统 或 对 象 存储 系统 中 ， 数 据 变更 发 生 在 文件 级 别 ， 而 在 其 他 存储 系统 
中 (例如 NoSQL 系统 ) ， 数 据 变更 发 生 在 记录 级 别 或 文档 级 别 。 


通常 情况 下 ， 知 道 了 数据 变更 所 在 的 级 别 ， 就 知道 了 系统 中 事务 的 默认 级 别 。 例 如 ， 在 文 
件 系统 或 对 象 存储 系统 中 ， 事 务 的 级 别 为 文件 或 对 象 ， 而 在 NoSQL 系统 中 ， 事 务 的 级 别 
为 记录 。 


3. 记录 大 小 

还 有 一 个 需要 考虑 的 因素 是 存储 系统 的 最 佳 记录 大 小 。 某 些 系统 (如 对 象 存 储 系统 和 
HDFS) 针对 较 大 的 数据 块 进行 了 优化 ， 文 件 大 小 可 以 在 100MB 和 1GB 之 间 。 而 有 些 系 
统 在 数据 块 小 于 或 约 为 10KB 的 时 候 表现 得 更 好 ， 例 如 HBase 和 Cassandra。 


数据 块 的 大 小 与 系统 存储 和 修改 磁盘 上 的 数据 有 关 。 关 键 是 要 记 住 这 些 建议 ， 从 而 充分 
地 使 用 系统 。 选 择 不 恰当 的 文件 大 小 或 记录 大 小 可 能 会 出 现 问 题 ， 例 如 ， 在 使 用 AWS 
Simple Storage Service (Amazon S3) 存储 大 量 小 文件 时 就 要 特别 注意 。 













































































与 HDFS 不 同 ， 对 象 存储 系统 不 存在 集中 管理 元 数据 方面 的 限制 〈 稍 后 会 详细 介绍 ) ， 所 
以 它 非常 适合 用 于 存储 大 量 的 小 文件 。 但 是 ， 这 可 能 会 导致 其 他 问题 。 假 设 使 用 1KB 的 文 
件 来 保存 10GB 的 数据 ， 就 会 有 1000 多 万 个 文件 。 若 在 这 个 文件 夹 或 表 上 运行 Hive 作业 ， 
那么 在 漫长 的 等 待 后 ， 将 遭遇 内 存 溢出 。Hive (和 大 多 数 执行 系统 ) 需要 制定 执行 计划 。 
执行 计划 需要 确定 读 取 哪些 文件 来 执行 查询 ， 而 1000 万 个 文件 已 经 超出 了 Hive 的 默认 内 
存 设置 。 


在 这 个 示例 中 ， 使 用 100MB~250MB 的 文件 会 获得 更 好 的 执行 性 能 。 此 外 ， 由 于 每 个 文 
件 包 含 了 更 多 的 数据 ， 出 现 重复 数据 模式 的 可 能 性 更 大 ， 因 此 很 有 可 能 会 获得 更 高 的 压缩 
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4. 
条 
和 























。 用 于 处 理 大 量 文 件 所 需 的 处 理 程序 的 数量 也 可 能 会 影响 性 能 。 














此 ， 即 使 文件 系统 或 对 象 存储 不 存在 上 述 的 小 文件 问题 ， 仍 然 应 该 使 用 100MB 或 更 大 
文件 。 


数据 变更 延迟 

同 的 存储 系统 针对 具有 不 同事 务 边界 的 读 取 和 写 和 人 批 次 大 小 进行 了 优化 。 例 如 ，HBase 
Cassandra 能 以 宣 秒 级 的 速度 处 理 记录 批 次 ， 换 句 话 说， 这些 系统 能 够 处 理 以 宣 秒 级 频 
到 达 的 记录 批 次 。 基 于 Lucene 的 系统 (如 Solr) 经 过 优化 ， 可 以 以 秒 级 或 分 级 的 速度 处 
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记录 批 次 ，HDFS 则 能 够 以 分 级 的 速度 处 理 记 录 批 次 。 


.1.4 ” 读 取 路 径 

过 去 ， 只 有 单 节点 的 关系 数据 库 ， 它 们 的 读 取 路 径 很 简单 。 但 现在 的 数据 量 很 大 ， 无 法 
入 单个 节点 的 内 存 中 ， 需 要 分 布 在 多 个 市 点 上 ， 而 不 同 的 系统 又 提供 了 不 同 的 数据 访问 
法 。 以 下 是 分 布 式 存储 系统 访问 数据 的 方法 。 

索引 

引 被 广泛 地 应 用 在 分 布 式 系统 中 ， 但 通常 在 使 用 方式 上 存在 差异 。 某 些 系统 只 索引 文件 
开头 部 分 ， 而 文件 的 所 有 内 容 都 需要 进行 扫描 过 滤 。 还 有 一 些 系 统 会 索引 记录 的 每 个 字 
， 其 至 是 记录 的 实际 内 容 。 


常 ， 分 布 式 系统 中 有 4 类 索引 。 


文件 级 别 的 索引 

每 个 数据 块 一 个 索引 。 

记录 级 别 的 索引 

每 个 记录 或 文档 都 有 一 个 主键 ， 并 使 用 主键 的 值 作 为 索引 。 


简单 的 二 级 索引 
非 主键 字段 的 二 级 索引 。 


倒 排 索引 
基于 Lucene 的 索引 ， 所 有 内 容 都 可 以 被 索引 ， 主 要 用 于 搜索 和 分 面 。 


















































基于 Lucene 的 倒 排 索引 
如 果 对 Lucene 等 系统 和 基于 Lucene 的 解决 方案 (如 Solr 和 Elasticsearch) 已 经 很 熟 炙 
了 ， 可 以 跳 过 这 部 分 内 容 。 这 部 分 将 深入 介绍 个 排 索引 的 工作 原理 。 图 5-2 是 一 个 针 
对 字段 color 和 size 使 用 倒 排 索引 的 示例 。 














{"doc id":"1", "color":"red", "size™:"S" "name":"foo_tmm"} 


{"doc_id":"2" "color":"blue", "size":"S", "name":"foo_tjm"} 


{"doc_id":"3", "color":"red", "size™:"M", "name":"foo_ajm"} 


{"doc_id":"4" "color":"black", "size™:"S", "name":"foo_kkm"} 
{"doc_id":"5" "color":"yellow", "size":"M", "name":"foo_42"} 


{"doc_id":"6" "Color black， size "name":"foo_101"} 
size 倒 排 索引 


12468 {"doc_ id":"7" "color":"red" "size":"M", "name":"foo 201"} 


{"doc_id":"8" "color":"blue", "size":"S", "name":"foo 301"} 


回国 


{"doc id":"9" "color":"red", "size":"M", "name":"foo _401"} 














5-2: 倒 排 索引 示例 


倒 排 索引 与 标准 索引 的 最 大 区 别 在 于 ， 不 使 用 doc_id 来 获取 记录 ， 相 反 ， 可 以 使 用 
"black" 找到 两 条 记录 ， 它 们 的 color 字段 的 值 均 为 "black"。 


这 在 搜索 记录 时 非常 有 用 ， 也 同样 适用 于 根据 不 同 字段 值 的 计数 制作 图 表 。 如 果 想 计算 
包含 red、blue、black 和 yellow 的 文档 的 数量 ， 只 需要 计算 color 倒 排 索引 中 doc_id 
的 数量 。 因 此 ， 可 以 不 读 取 原 始 数据 就 生成 图 表 。 

此 外 ， 如 果 想 根据 color 和 size 制作 图 表 ， 可 以 通过 合并 连接 来 获得 组 合 图 表 。 
图 5-3 显示 了 red 和 M 之 间 的 连接 是 如 何 发 生 的 。 请 注意 ， 由 于 数据 已 经 经 过 排序 ， 
因此 只 需要 边 扫描 doc_id 边 进 行 连接 。 





回回 轩 











5-3: 基于 Lucene 的 合并 连接 
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2. 行 式 存 储 与 列 式 存储 

“ 列 式 ”(columnar) 这 个 词 可 能 有 点 令 人 困惑 ， 因 为 有 一 些 分 布 式 存储 系统 (例如 HBase) 
也 被 称 为 “面向 列 的 ”系统 。 在 本 节 中 ， 当 说 到 列 式 存储 与 行 式 存储 时 ， 指 的 是 在 存储 系 
统 中 存储 数据 集 的 格式 。 为 了 更 好 地 说 明 这 一 点 ,假设 有 一 个 包含 多 条 记录 的 典型 数据 
集 ， 其 中 每 条 记录 包含 一 组 固定 的 列 ， 并 且 每 列 都 有 特定 的 数据 类 型 。 图 5-4 展示 了 包含 
行 和 列 的 示例 数据 集 。 















































图 5-4: 行 式 存 储 与 列 式 存储 
基于 行 的 系统 通过 分 组 的 方式 保存 和 压缩 数据 ， 如 图 5-5 所 示 。 


























图 5-5: 行 式 存储 


在 行 式 存储 系统 中 ， 不 同 列 的 单元 格 是 相 邻 存储 的 。 这 种 存储 方法 可 以 减少 写 入 数据 和 读 
取 数 据 所 需 的 内 存 。 而 在 列 式 存储 系统 中 ， 在 写 入 文件 时 ， 每 列 都 需要 内 存 缓冲 区 来 写 入 
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和 读 取 数据 。 因 此 ， 行 式 存储 系统 所 使 用 的 文件 在 写 入 和 读 取 方面 通常 更 高 效 。 但 是 ， 速 
度 还 取 雇 于 其 他 大 量 的 细节 ， 有 具体 请 看 下 面 的 解释 。 
速度 的 比较 


于 行 的 格式 即使 在 读 取 数据 方面 的 开销 更 小 ， 也 并 不 总 是 更 快 。 
。 压缩 
就 压缩 座 而 言 ， 
吐 量 成 了 一 个 限制 性 因素 (例如 在 使 用 Amazon S3 存储 数据 时 )。 


讲 到 这 里 ， 我 们 仍然 很 难 确定 基于 行 的 格式 比 基 于 列 的 格式 更 快 。 先 来 看 看 为 什么 基 


基于 行 的 格式 通常 不 如 基于 列 的 格式 高 ， 因 此 ， 在 菜 些 情况 下 ， 知 


代码 路 径 





基于 行 的 格式 有 更 简单 的 代码 路 径 ， 但 多 年 来 ， 基 于 列 的 格式 (如 Parquet 和 
ORC) 也 经 历 了 重大 调 优 。 因 此 ， 虽 然 列 式 的 代码 路 径 更 复杂 一 些 ， 但 速度 可 能 更 
快 ， 因 为 它们 优化 得 更 好 。 


与 往常 一 样 ， 请 使 用 你 的 数据 对 存储 系统 进行 基准 测试 。 








2 


行 式 模型 有 两 个 缺点 。 第 


代码 记录 的 表 ， 它 由 3 列 组 





个 是 压缩 率 ， 
数据 类 型 ， 这 不 利于 压缩 一 一 将 





成 : 股票 





因为 按 不 同 列 进行 分 组 的 单元 格 通常 具 有 不 同 的 








目 似 的 值 分 组 在 一 起 更 有 利于 压缩 。 假 设 有 一 个 包含 股票 











代码 、 时 间 、 价 格 。 时 间 字 段 的 值 与 其 他 时 间 字 段 的 





值 (而 不 是 股票 代码 字段 的 值 ) 更 相似 。 如 果 只 想 读 取 这 些 字段 值 的 子 集 (一 种 常见 的 查 
询 模 式 )， 就 会 发 现 第 二 个 缺点 一 一 在 行 式 模型 中 ， 即 使 只 需要 列 的 子 集 ， 也 仍然 需要 读 


取 所 有 列 。 
列 式 存 储 格式 〈 如 图 











5-6 所 示 ) 有 助 于 解决 这 些 问 题 。 我 们 将 列 存储 在 一 起 ， 这 样 可 以 更 


好 地 压缩 数据 ， 而 且 在 查询 字段 值 的 子 集 时 速度 也 更 快 。 
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图 5-6: 列 式 存储 
3. 分 区 





在 这 里 » 分 区 有 另外 一 种 意思 : 








将 一 个 或 多 个 数据 字段 作为 键 ， 然 后 基于 这 些 键 对 存储 数 





据 进行 分 区 。Apache Hive 等 系统 就 支持 这 种 分 区 方式 ， 根 据 特定 的 列 对 数据 表 进 行 分 区 。 
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在 使 用 这 种 分 区 时 ， 可 以 在 查询 期 间 剔 除 不 相关 的 记录 ， 从 而 提高 访问 效率 。 如 果 记 录 是 
按照 年 份 分 区 的 ， 那 么 针对 特定 年 份 的 查询 就 可 以 忽略 与 目标 年 份 不 相关 的 分 区 。 


5.1.5 可 用 性 与 一 致 性 

分 布 式 系统 不 可 避免 地 会 出 现 故 障 ， 但 系统 的 某 些 特征 会 影响 它们 的 故障 行为 。 因 此 ， 在 
发 生 故障 时 需要 有 所 取舍 ， 这 取决 于 选择 的 存储 系统 。 在 讨论 这 些 权衡 之 前 ， 先 简要 介绍 
一 下 CAP 定理 。 











1. CAP 定理 
根据 维基 百科 的 描述 ，CAP 定理 表明 ， 分 布 式 数据 存储 系统 不 可 能 同时 提供 以 下 保证 中 的 
两 种 以 上 。 


。 一 致 性 保证 : 每 次 读 取 都 应 该 得 到 最 新 版 本 的 数据 。 
。 可 用 性 : 每 次 读 取 都 会 得 到 有 效 的 响应 ， 但 不 保证 是 最 新 版 本 的 数据 。 
。 分 区 容错 : 即使 币 点 间 出 现 数据 丢失 ， 系 统 仍然 可 以 继续 运行 。 








作 





由 于 网 络 故障 在 分 布 式 系统 中 是 不 可 避免 的 ， 因 此 我 们 必须 容忍 网 络 分 区 ， 这 意味 着 需要 
在 一 致 性 和 可 用 性 之 间 做 出 选择 ， 如 图 5-7 所 示 。 





























一 致 性 











图 5-7: 可 用 性 与 一 致 性 


2. 选择 可 用 性 : 最 终 一 致 性 

最 终 一 致 性 是 指 所 有 的 数据 请 求 最 终 将 返回 相同 的 值 。 这 个 模型 为 了 获得 更 高 的 可 用 性 而 
放弃 了 数据 一 致 性 。 此 时 ， 如 果 系 统 出 现 故 障 ， 可 能 会 出 现 数据 丢失 。 而 且 更 重要 的 是 ， 
我 们 无 法 保证 在 请 求 时 会 获得 最 新 版 本 的 数据 。 

3. 选择 一 致 性 : 强 一 致 性 

顾名思义 ， 强 一 致 性 可 以 保证 对 特定 数据 的 访问 总 是 返回 相同 的 值 。 因 此 ， 当 为 了 一 致 性 
而 放弃 可 用 性 时 ， 如 有 果 系 统 出 现 故障 ， 我 们 就 无 法 在 给 定时 间 内 读 取 和 写 人 系统 分 区 。 
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选择 一 致 性 还 是 可 用 性 通常 取决 于 实际 情况 。 不 过 ， 有 时候 也 会 由 选择 的 存储 系统 决定 。 
例如 ，HBase 就 选择 了 一 致 性 ， 而 Cassandra 选择 了 可 用 性 。 不 过 ，Cassandra 还 是 为 一 臻 
性 模型 提供 了 一 些 控制 机 制 。 











5.1.6 主要 用 例 


最 后 一 个 需要 考虑 的 问题 是 存储 系统 的 主要 使 用 模式 。 我 们 可 以 在 多 个 用 例 中 使 用 一 种 存 
储 系统 ， 但 有 些 系统 针对 一 小 组 使 用 模式 进行 了 高 度 优 化 ， 如 果 使 用 不 当 ， 就 会 导致 失 
败 。 在 介绍 不 同 用 例 的 过 程 中 ， 将 会 说 明 哪些 系统 适用 于 哪些 用 例 ， 并 在 介绍 每 个 系统 时 
提供 更 多 的 上 下 文 信息 。 


1. 大 型 扫描 

这 类 用 例 要 求 对 数据 进行 大 型 扫描 ， 例 如 按照 日 期 或 其 他 大 型 分 区 边界 对 数据 进行 分 区 ， 
但 分 区 中 的 记录 不 少 于 100 万 条 。 这 类 用 例 主 要 包括 查询 很 大 的 记录 块 、 机 器 学 习 、 图 处 
理 和 窗口 操作 。 对 于 这 些 用 例 ， 通 常会 使 用 基于 文件 的 存储 系统 (例如 HDFS) 或 对 象 存 
储 系统 。 


2. 随机 数据 访问 

这 类 用 例 要 求 快速 访问 一 条 或 多 条 记录 ,或 者 在 大 约 一 毫秒 内 更 新 记录 ， 而 不 是 扫描 很 
大 的 数据 块 。 为 此 ， 需 要 一 个 高 度 可 变 和 支持 索引 的 系统 。 像 HBase 或 Cassandra 这 样 的 
NoSQL 系统 通常 最 适合 这 类 用 例 。 

3. 数据 立方 体 

这 类 用 例 要 求 进行 大 量 的 深度 分 析 。 在 这 个 模型 中 ， 需 要 对 数据 进行 高 度 优化 ， 以 支持 从 
多 个 角度 查询 数据 。 基 于 Lucene 的 系统 (如 Elasticsearch 和 Solr) 可 以 作为 这 类 用 例 的 解 
决 方案 。 

4. 时 间 序 列 

在 物 联 网 应 用 程序 中 ， 需 要 存储 和 访问 大 量 与 时 间 相 关 的 事件 。 为 此 ， 我 们 需要 一 个 优化 
过 排序 的 存储 系统 。 对 于 这 类 应 用 程序 ， 可 以 将 NoSQL 系统 (如 HBase) 和 数据 存储 系 
统 【( 如 Druid) 作为 存储 解决 方案 。 

5. 高 可 变性 

这 类 用 例 要 求 以 非常 快 的 速度 改变 系统 状态 ， 例 如 排序 列表 或 流 式 时 间 窗 口 。 它 们 一 般 是 
基于 内 存 的 系统 ， 例 如 Druid 或 Redis， 它 们 针对 某 种 类 型 的 状态 变化 进行 了 优化 。 


5.2 存储 系统 细 分 


到 目前 为 止 ， 我 们 已 经 讨论 了 以 下 几 点 。 





















































分 布 式 存储 系统 | 85 


口 谱系 
了 解 系统 的 起 源 。 


口 分 区 
了 解 系统 在 不 同 节 点 上 存放 数据 的 策略 。 


口 处 理 数据 变更 
了 解 系统 的 写 人 行为 以 及 如 何 处 理 数 据 变更 。 


口 读 取 路 径 
了 解 系统 的 数据 访问 行为 。 


口 可 用 性 与 一 致 性 
了 解 系统 对 数据 的 可 用 性 和 一 致 性 的 权衡 。 


口 主要 用 例 
了 解 系统 的 设计 目标 。 


接 下 来 将 基于 这 些 考 虑 因素 ， 介 绍 当前 最 为 流行 的 开源 分 布 式 存储 系统 。 














5.2.1 HDFS 
先 从 HDFS 开始 ， 看 看 它 具 有 的 存储 系统 特征 ， 以 及 这 些 特 征 是 否 符合 我 们 的 要 求 。 
1. 谱系 


HDFS 是 Apache Hadoop 项 目的 一 部 分 ， 于 2006 年 左右 作为 一 个 开源 项 目 启动 ， 并 在 早期 
得 到 了 雅虎 的 支持 。HDFS 本 质 上 是 GFS 的 一 个 开源 移植 版 本 。 


Hadoop 最 初 用 于 开发 互联 网 倒 排 索引 框架 ， 以 支持 雅虎 搜索 。 这 个 应 用 程序 需要 存储 大 
量 的 数据 ， 并 通过 Hadoop MapReduce 高 效 地 处 理 分 布 式 数据 。 


2. 分 区 

在 HDFS 中 ， 有 一 个 名 称 节 点 ， 用 于 保存 集群 数据 块 的 位 置 元 数据 。 名 称 节 点 负责 指定 和 
获取 块 节点 分 配 ， 以 及 处 理 再 均衡 操作 。 

HDFS 采用 集中 式 分 区 模式 ， 所 以 具备 这 种 模式 的 所 有 优 缺 点 。 

3. 处 理 数 据 变更 

HDFS 只 能 通过 追加 的 方式 修改 数据 ， 你 可 以 一 直 追 加 数据 ， 直 到 文件 关闭 。 关 闭 后 的 文 


件 是 不 可 变 的 。 如 果 要 修改 HDFS 中 的 数据 ， 需 要 重 写 相 应 的 文件 。 在 重 写 文件 时 ， 通 常 
会 使 用 一 种 叫 作 压 缩 的 模式 。 图 5-8 大 致 说 明了 压缩 机 制 。 
































图 5-8: 通过 压缩 修改 HDFS 文件 


几乎 在 所 有 人 允许 修改 数据 的 系统 中 都 能 看 到 这 种 模式 。 但 与 大 多 数 系统 不 同 的 是 ，HDFS 
的 压缩 需要 手动 执行 ， 而 Cassandra、HBase、Solr 等 系统 会 在 后 台 自 动 执 行 压缩 。 另 外 ， 
与 那些 为 修改 数据 而 进行 优化 的 系统 不 同 ，HDFS 在 完成 整个 文件 的 重 写 之 前 ， 无 法 显示 
新 修改 的 记录 。 


4. 读 取 路 径 

在 很 大 程度 上 ，HDFS 是 为 扫描 大 块 数 据 而 设计 的 。 不 过 ，HDFS 有 一 些 高 级 的 文件 格式 ， 
例如 Parquet 和 ORC， 这 些 格式 让 用 户 可 以 借助 下 推 过 滤器 (pushdown filter) 来 避免 读 取 
行 和 列 。 随 机 访问 记录 实际 上 是 不 可 能 的 ， 对 索引 的 支持 也 非常 有 限 。 


5. 主要 用 例 
如 果 在 本 地 存储 了 大 量 数据 (TB、PB 或 更 多 ) ， 并 且 想 执行 需要 访问 大 块 数据 的 查询 或 处 
理 ， 例 如 机 器 学 习 或 ETL， 那 么 可 以 考虑 使 用 HDFS。 


此 外 ， 因 为 HDFS 位 于 数据 中 心 ， 所 以 让 存储 市 点 附带 计算 能 力 是 一 种 很 正常 的 做 法 。 
HDFS 之 所 以 能 在 很 长 一 段 时 间 内 受到 推 党 ,是 因为 可 以 直接 在 存储 数据 的 市 点 上 处 理 
数据 。 

















5.2.2 ” S3 和 对 和 象 存储 系统 

接 下 来 介绍 Amazon S3 等 对 象 存储 系统 。 

1. 谱系 

在 使 用 HDFS 时 ， 关 注 的 是 数据 本 地 性 。 然 而 ， 云 存储 的 出 现 引 发 了 数据 本 地 性 “大 逃 
离 "， 这 主要 是 因为 云 存 储 使 单独 为 存储 和 处 理 付 费 变 得 切实 可 行 ， 这 为 优化 成 本 和 资源 
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提供 了 很 多 选择 。Hadoop 和 HDFS 鼓励 将 处 理 和 存储 放 在 一 起 。 图 5-9 显示 了 云 存 储 提供 
的 一 些 选项 。 











存储 和 单 工作 存储 和 多 工作 负载 
负载 


Spark 集 群 Spark 集 群 Red Shift 数据 访问 


集群 API 














图 5-9: 云 存储 选项 


从 本 地 性 到 云端 非 本 地 性 的 转变 促成 了 对 象 存储 系统 的 嘱 起 。Amazon S3 是 当前 主要 的 案 
例 。 其 他 云 服务 提供 商 也 提供 了 自己 的 对 象 存储 系统 ， 例 如 微软 的 Azure Blob 存储 和 谷歌 
的 云 存储 。 即 使 是 本 地 云 解决 方案 ， 也 提供 了 对 象 存储 ， 例 如 Swift。 


对 象 存储 通常 会 放弃 本 地 性 和 快速 元 数据 扫描， 并 采用 元 数据 最 终 一 致 性 模型 。 请 注意 ， 
这 里 的 一 致 性 是 指 元 数据 的 一 致 性 ， 而 不 是 实际 数据 的 一 致 性 。 具 体 以 HDFS 为 例 ， 集 群 
数据 块 的 位 置 集 中 保存 在 名 称 节 点 上 。 名 称 节 点 将 在 写 人 所 有 数据 块 后 记录 每 个 数据 块 的 
位 置 。 


相反 ， 在 S3 这 样 的 对 象 存储 系统 中 ， 在 写 人 数据 或 移 除 数据 之 后 列 出 存储 桶 中 的 对 象 ， 
可 能 不 会 立即 返回 正确 的 结果 。 虽 然 S3 模型 存在 一 些 不 足 ， 但 因为 按 弃 了 集中 式 分 区 方 
案 ， 所 以 为 现代 云 数 据 存储 提供 了 必要 的 规模 。 


2. 分 区 
具体 的 实现 各 不 相同 ， 但 所 有 对 象 存储 系统 都 使 用 某 种 形式 的 散 列 分 区 来 分 布 数据 。 


3. 处 理 数 据 变 更 

对 象 存 储 系统 与 HDFS 一 样 ， 以 文件 或 blob (binary large object， 二 进 制 大 对 象 ) 作为 
写 入 单元 ， 而 且 这 些 文件 或 对 象 只 能 通过 追加 的 方式 修改 ， 在 追加 后 是 不 可 变 的 。 此 外 ， 
HDFS 所 有 的 写 和 模式、 文件 类 型 和 目录 模式 也 都 适用 于 对 象 存 储 系统 。 你 甚至 可 以 在 对 
象 存储 系统 上 运行 Hive， 在 文件 和 文件 夹 之 上 创建 表 。 


对 象 存储 系统 与 HDFS 等 系统 的 主要 区 别 在 于 ， 压 缩 数 据 在 前 者 中 有 着 更 重要 的 地 位 。 原 
因 有 二 : 首先 ， 可 以 降低 存储 成 本 ， 甚 次， 在 处 理 数 据 时 需要 将 数据 传输 到 计算 节点 ， 压 
缩 数 据 可 以 减少 网 络 带宽 的 使 用 。 
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4. 读 取 路 径 
与 分 布 式 存储 系统 一 样 ， 对 象 存 储 系统 也 通过 网 络 传输 数据 ， 因 此 在 必要 时 需要 进行 压缩 
和 缓存 。 如 前 所 述 ， 对 象 存储 系统 和 HDFS 等 系统 之 间 的 一 个 区 别 在 于 元 数据 管理 。 从 好 
的 方面 来 说 ， 对 象 存储 系统 不 存在 像 HDFS 那样 的 单个 名 称 节 点 瓶颈 问题 。 不 好 的 方面 在 
于 ， 因 为 元 数据 具有 最 终 一 致 性 ， 所 以 有 可 能 会 过 时 ， 而 且 检 索 文 件 和 目录 列表 的 效率 不 
如 HDFS 高 。 


5. 主要 用 例 
如 果 在 云端 运行 应 用 程序 ， 可 以 考虑 将 对 象 存 储 作 为 长 期 的 数据 存储 系统 ， 替 代 HDFS 等 
系统 。 即 使 没有 在 云端 存储 数据 ， 也 可 以 了 解 一 下 OpenStack 的 Swift 等 技术 ， 并 将 它们 
用 在 数据 中 心里 。 
























































5.2.3 Apache HBase 


在 讨论 了 基于 文件 和 对 象 的 存储 系统 (如 HDFS 和 S3) 之 后 ， 继 续 来 讨论 针对 特定 访问 模 
式 而 设计 的 存储 系统 。 先 从 HBase 开始 。 


1. 谱系 

2006 年 ， 谷 歌 发 布 了 一 份 有 关 BigTable 的 白皮书 。BigTable 是 一 个 运行 在 GFS 上 的 
NoSQL 存储 系统 。HBase 是 首 批 实现 这 种 架构 的 开源 项 目 之 一 。HBase 在 HDFS 之 上 运 
行 ， 为 HDFS 环境 提供 了 一 个 用 来 创建 可 变数 据 集 (可 以 使 用 索引 ) 的 选项 。 


2. 分 区 
与 其 他 NoSQL 解决 方案 不 同 ，HBase 会 尽 可 能 保留 原始 的 键 和 值 一 一 键 、 列 、 单 元 格 都 
是 字 节 数组 。 这 是 一 个 强大 的 特性 ， 但 也 带 来 了 一 些 复杂 性 。 





























HBase 基于 键 的 字 节 数组 来 定义 分 区 区 域 ， 如 果 键 设计 得 不 好 ， 就 很 容易 出 现 数据 倾斜 。 
可 以 使 用 散 列 分 区 ， 但 只 能 将 散 列 值 添加 到 字 节 数组 键 的 开头 。 


3. 处 理 数 据 变更 

在 HBase 环境 中 ， 客 户 端 连接 到 HBase 主 服务 器 并 获取 分 区 。 在 知道 有 哪些 分 区 之 后 ， 
客户 端 就 可 以 自由 地 向 各 个 分 区 〈 区 域 ) 首领 写 人 数据 。 与 所 有 NoSQL 解决 方案 一 样 ， 
HBase 允许 修改 单行 或 批 次 数据 。 每 个 单元 格 对 应 底层 HFile 文件 中 的 一 行 ， 因 此 修改 单 
元 格 数据 就 有 了 可 能 。 


4. 读 取 路 径 
HBase 是 为 进行 快速 读 取 和 写 和 而 设计 的 。 通 常 ， 如 果 记 录 还 没有 被 放 进 缓存 中 ， 从 磁盘 
获取 记录 只 需要 进行 一 次 查找 。 


为 了 优化 读 取 路 径 ，HBase 提供 了 两 个 内 存 缓 存 选项 : memstore (缓存 刚刚 写 入 的 数据 ) 
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和 blockcache (缓存 最 近 获 取 的 数据 ) 。 


对 于 每 秒 能 够 处 理 30 000~100 000 条 记录 的 服务 器 来 说 ， 所 有 的 读 取 操作 和 写 入 操作 都 应 
该 是 毫秒 级 的 。 


5. 可 用 性 与 一 致 性 























HBase 是 强 一 致 性 的 ， 所 以 如 果 有 一 个 节点 发 生 故 障 ， 那 么 给 定 分 区 〈 区 域 ) 将 会 出 现 一 
段 时 间 的 停机 〈 通 常 在 几 秒 内 )。 因 此 ，HBase 不 是 实时 应 用 程序 (比如 网 站 ) 的 理想 选 








择 。Cassandra 可 能 会 更 合适 ， 因 为 它 提供 了 更 灵活 的 一 致 性 选项 。 


6. 主要 用 例 
HBase 主要 用 于 需要 强 一 致 性 的 NoSQL 存储 ， 比 如 用 来 保存 股票 交易 关系 的 大 型 图 数据 库 。 


通常 ，HBase 适用 于 需要 快速 修改 数据 、 快 速 获取 数据 、 进 行 数据 排序 和 动态 创建 列 的 应 
用 程序 。 






































此 外 ，HBase 经 常 被 拿 来 与 Cassandra 做 对 比 (5.2.4 节 将 讨论 Cassandra 及 其 优点 ) 。 不 过 ， 
HBase 在 某 些 方面 比 Cassandra 更 具 优 势 。 

















。 有 具有 更 高 的 节点 存储 密度 。 在 某 些 生产 环境 中 ， 单 个 HBase 市 点 可 以 存储 超过 30TB 的 
数据 ， 而 单个 Cassandra 节点 最 多 只 能 存储 5TB 的 数据 。 这 主要 是 因为 HBase 在 HDFS 
上 运行 ， 而 HDFS 最 初 的 设计 目标 之 一 就 是 支持 大 节点 容量 。 

。 HBase 的 批量 写 入 操作 更 容易 进行 扩展 。 随 着 集群 的 增长 ，Cassandra 默认 的 批 处 理 机 
制 可 能 会 出 现 问题 ， 主 要 是 因为 Cassandra 没有 像 HBase 那样 的 分 区 首领 。 

。 故障 恢复 更 加 容易 。 在 Cassandra 集群 中 ， 如 果 一 个 节点 发 生 故障 ， 必 须 使 用 新 节点 替 
换 故 障 节点 〈 使 用 自动 伸缩 组 可 以 很 容易 地 完成 这 个 操作 )。 而 HBase 只 需要 重新 分 区 ， 
然后 继续 运行 。 


























5.2.4 _ Apache Cassandra 
尽管 Cassandra 的 目标 用 例 与 HBase 的 类 似 ， 但 在 设计 中 采用 了 不 一 样 的 方法 。 


1. 谱系 

大 约 在 发 布 HBase 的 同一 时 间 ，Facebook 正在 开发 自己 的 NoSQL 存储 系统 一 一 Cassandra。 
最 初 ， 两 者 之 间 最 大 的 区 别 是 一 致 性 模型 一 一 HBase 采用 了 强 一 致 性 模型 ，Cassandra 则 采 
用 了 可 调整 的 一 致 性 模型 。 

















可 调整 的 一 致 性 
之 前 ， 我 们 讨论 了 CAP 定理 以 及 如 何在 强 一 致 性 和 最 终 一 致 性 之 间 做 出 选择 。 虽 然 这 
个 定理 仍然 有 效 ， 但 也 可 以 改变 它 。 为 了 解释 清楚 这 个 问题 ， 来 看 看 Cassandra 如 何 
通过 不 同 的 写 入 和 读 取 配 置 来 实现 可 调整 的 一 致 性 。 
个 节点 写 人 ， 一 个 节点 读 取 
在 Cassandra 中 ， 可 以 定义 一 次 读 取 或 一 次 写 入 需要 涉及 多 少 个 节点 。 最 快 的 方法 是 
每 次 写 入 和 读 取 只 涉及 一 个 节点 ， 如 图 5-10 所 示 。 












reader 














5-10: 单 节点 读 写 一 致 性 


图 5-10 表明 ， 如 果 在 写 入 之 后 立即 读 取 ， 可 能 会 得 到 旧 的 结果 ， 因 为 写 入 的 数据 可 能 
还 没有 复制 到 被 读 取 的 分 区 。 

请 注意 ， 这 个 模型 可 以 允许 两 个 分 区 发 生 故 障 ， 并 且 不 会 影响 读 写 行 为 ， 这 是 最 终 一 
致 性 的 一 个 优点 。 另 外 ， 单 节点 写 入 模式 发 生 数据 丢失 的 可 能 性 更 高 。 如 果 写 入 的 节 
点 在 复制 数据 或 将 数据 保存 到 磁盘 之 前 发 生 故 障 ， 就 有 可 能 会 丢失 数据 。 

仲裁 读 写 

如 果 写 入 和 读 取 的 节点 数量 大 于 分 区 数量 ， 就 可 以 获得 写 后 读 一 致 性 。 由 于 读 取 和 写 
入 的 节点 比 复制 节点 多 ， 因 此 可 以 始终 保证 至 少 有 一 个 读 取 操 作 与 其 中 一 个 写 入 操作 
是 重合 的。 比如 两 次 写 入 和 两 次 读 取 ， 如 图 5-11 所 示 。 









reader 














图 5-11: 多 节点 读 写 一 致 性 


从 图 5-11 中 可 以 看 到 ，reader 将 从 分 区 2 和 分 区 3 读 取 数 据 。 分 区 3 包含 要 读 取 的 数 
据 ， 但 它们 的 时 间 玲 可 能 比分 区 2 的 旧 ， 所 以 reader 将 读 取 分 区 2 的 数据 。 


如 果 一 个 节点 发 生 故 障 ， 仍 然 不 会 有 什么 问题 ， 如 图 5-12 所 示 。 
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5-12: 发 生 节点 故障 时 的 一 致 性 


这 是 CAP 定理 的 灰色 地 带 。 虽 然 遇 到 了 故障 ， 但 并 没有 失去 可 用 性 。CAP 定理 在 这 
个 时 候 仍 然 有 效 ， 因 为 Cassandra 扩展 了 故障 的 定义 。 在 仲裁 配置 中 ， 故 障 是 指 有 两 
个 节点 出 现 问题 。 


这 种 对 CAP 定理 的 扩展 也 是 有 代价 的 。 与 强 一 致 性 的 系统 相 比 ， 它 的 性 能 会 差 一 些 。 
为 了 更 好 地 说 明 这 个 问题 ， 图 5-13 比较 了 HBase 和 Cassandra 的 仲裁 写 入 。 





Cassandra 




















5-13: HBase 与 Cassandra 的 一 致 性 对 比 


请 注意 ，HBase 中 有 一 个 首领 节点 ， 所 以 writer 和 reader 始终 只 与 一 个 节点 通信 ， 而 
Cassandra 的 仲裁 配置 需要 两 个 节点 。 

其 他 选项 

还 有 其 他 Cassandra 配置 选项 。 例 如 ， 可 以 写 入 3 个 节点 ， 然 后 从 一 个 节点 读 取 ， 或 
者 写 入 一 个 节点 ， 然 后 从 3 个 节点 读 取 ， 如 图 5-14 所 示 。 这 样 就 可 以 将 性 能 重点 放 在 
其 中 的 一 方 。 























5-14: Cassandra 一 致 性 一 一 其 他 配置 选项 
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此 外 ，Cassandra 甚至 可 以 将 故障 定义 扩展 到 集群 。 你 可 以 在 集群 之 间 建 立 仲 裁 ， 如 果 
有 3 个 集群 ,那么 当 其 中 一 个 发 生 故 障 时 ， 不 会 带 来 任何 影响 。 但 是 ， 这 种 配置 存在 
额外 的 性 能 损失 。 





Cassandra 还 提供 了 一 种 叫 作 CQL 的 查询 语言 。CQL 提供 了 一 个 SQL 风格 的 接口 ， 让 用 
户 能 够 更 容易 地 操作 Cassandra 中 的 数据 。 此 外 ，Cassandra 没有 将 HDFS 作为 底层 数据 存 
储 ， 从 而 为 部 署 提供 了 更 大 的 灵活 性 。 


2. 分 区 

与 HBase 一 样 ，Cassandra 也 采用 了 区 间 分 区 。 但 与 HBase 不 同 的 是 ，Cassandra 不 需要 
手动 定义 键 ， 而 是 在 后 台 自 动 进行 散 列 。 此 外 ， 在 Cassandra 中 创建 表 的 时 候 ， 可 以 借助 
CQL 通过 双 键 分 组 方案 进行 简单 的 手动 分 区 和 排序 。 
































图 5-15 显示 了 在 Cassandra 中 使 用 两 个 键 创 建 数 据 表 的 示例 。 





CREATE TABLE stock _ trades ( 

stock_id bigint, 

day_year_of_trade int 组 合 分 区 主键 

time_of_day_of_trade int， 

Price double, 

PRIMARY KEY ((stock_ id, day_year_of trade), time of _day_of_trade) 
) 区 


排序 字段 














图 5-15: 使 用 两 个 键 创建 Cassandra 数据 表 


这 将 按照 库存 和 日 期 (年 、 日 ) 对 记录 进行 分 区 。 然 后 ， 分 区 中 的 所 有 价格 都 将 按照 时 间 
进行 排序 。 需 要 注意 的 是 ， 与 HBase 等 系统 相 比 ， 在 Cassandra 中 配置 这 种 数据 表 更 容易 。 





这 种 简单 的 分 区 可 能 是 HBase 和 Cassandra 之 间 最 重要 的 区 别 。 在 HBase 中 ， 任 何 任务 都 
需要 编写 代码 来 完成 。 而 在 Cassandra 中 ， 如 果 会 用 SQL， 工 作 效 率 就 会 非常 高 。 但 是 ， 
与 其 他 接口 一 样 ， 为 了 获得 高 性 能 ， 需 要 快速 了 解 自 己 的 CQL。 


3. 处 理 数据 变更 
在 大 多 数 情况 下 ，Cassandra 的 写 入 模式 非常 像 HBase， 主 要 专注 于 快速 的 单 记录 更 新 。 


4. 读 取 路 径 

在 读 取 路 径 方面 ，Cassandra 仍然 与 HBase 非常 相似 ， 但 它 更 侧重 于 可 调整 的 一 致 性 。 此 
外 ，Cassandra 可 以 从 任意 的 副本 读 取 数 据 。HBase 的 写 入 和 读 取 都 发 生 在 分 区 的 首领 节点 
上 ，Cassandra 的 读 取 和 写 入 则 可 以 发 生 在 任意 一 个 副本 节点 。 
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5. 主要 用 例 
适合 使 用 HBase 的 场景 通常 也 可 以 使 用 Cassandra。 是 选择 Cassandra 还 是 HBase， 主 要 考 
虑 一 致 性 模型 和 故障 处 理 的 差异 。 























5.2.5 Elasticsearch 和 Apache Solr 
接 下 来 将 讨论 基于 Lucene 的 系统 ， 例 如 Elasticsearch 和 Solr。 


1. 谱系 

Lucene 是 一 个 用 来 索引 Web 内 容 的 开源 项 目 ， 可 以 实现 Web 搜索 引擎 。Elasticsearch 和 
Solr 是 构建 在 Lucene 之 上 的 两 个 查询 引擎 实现 ， 提 供 了 一 些 以 Lucene 的 结果 为 基础 的 
功能 。 


2. 分 区 

对 于 这 些 引 擎 来 说 ， 散 列 分 区 是 非常 关键 的 。 这 些 引 擎 中 的 大 多 数 查 询 操 作 是 reduce-by- 
key 查询 ， 基 于 散 列 的 分 区 机 制 为 这 些 系统 提供 了 良好 的 存储 和 可 查询 分 区 。 因 为 每 个 文 
档 都 有 一 个 ID， 并 且 所 有 的 散 列 都 是 针对 ID 进行 的 ， 所 以 可 以 避免 出 现 数据 倾斜 问题 。 


3. 处 理 数 据 变更 
这 些 系统 更 新 文档 的 能 力 在 不 同 的 系统 和 版 本 之 间 有 所 不 同 。 一 般 来 说 ， 它 们 都 支持 更 新 
文档 ， 可 能 是 更 新 整个 文档 或 文档 中 的 特定 字段 。 但 是 ， 在 底层 可 能 需要 删除 旧 文 档 ， 然 
后 使 用 新 文档 替换 。 


请 注意 ， 由 于 在 更 新 文档 时 需要 存储 不 同 的 版 本 ， 因 此 这 种 数据 变更 模型 会 导致 存储 需求 
的 增长 。 这 也 意味 着 在 更 新 文档 时 ， 查 询 时 间 会 有 所 增加 。 出 于 性 能 方面 的 考虑 ， 如 果 你 
的 需求 包括 数据 的 高 可 变性 ， 那 么 基于 Lucene 的 搜索 工具 可 能 不 是 最 佳 选择 。 


4. 读 取 路 径 

NoSQL 系统 使 用 主键 来 查询 记录 ， 在 某 些 情 况 下 还 可 以 使 用 辅助 索引 ， 而 基于 Lucene 的 
系统 可 以 通过 任意 索引 字段 查询 文档 。 此 外 ，Lucene 引擎 不 仅仅 是 为 了 获取 记录 ， 它 其 实 
是 一 个 搜索 引擎 ， 所 以 最 终 返 回 的 内 容 和 顺序 都 非常 重要 。 



























































此 外 ， 在 某 些 情况 下 ， 我 们 可 能 不 需要 请 求 具体 的 数据 记录 ， 只 需要 根据 索引 计数 生成 图 
表 。 随 着 Kibana (用 于 Elasticsearch)、Banana (用 于 Solr) 和 Hue (支持 多 个 系统 ) 等 动 
态 图 表 工 具 的 兴起 ， 这 类 情况 变 得 越 来 越 普遍 。 它 们 降低 了 从 这 些 系统 中 获取 数据 价值 的 
门槛 。 


5. 主要 用 例 


如 果 需 要 一 个 搜索 引擎 或 实时 的 数据 立方 体 ， 它 们 都 是 合适 的 工具 。 但 请 注意 ， 所 有 的 索 
引 都 会 增加 这 些 系统 存储 数据 的 成 本 。 因 此 ， 尽 管 这 些 系统 非常 有 用 ， 却 很 难 进 行 扩展 。 
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5.2.6 ”新 进 者 : Apache Kudu 和 CockroachDB 
在 开源 的 企业 数据 世界 里 ， 并 不 是 每 天 都 会 有 新 想法 出 现 并 大 获 成 功 。 本 节 将 讨论 两 个 相 
对 较 新 的 解决 方案 : Apache Kudu 和 CockroachDB。 








1. Kudu 

Kudu 是 一 个 Spanner 风格 的 系统 ， 源 于 Cloudera。 它 受到 Parquet 的 最 初 承 诺 和 列 式 文件 
格式 的 启发 ， 看 起 来 就 像 是 HBase 和 Parquet 的 孩子 。Kudu 具备 了 接近 HDFS 的 扫描 速度 
和 NoSQL 的 可 变性 。 不 过 ， 它 在 数据 扫描 方面 不 太 可 能 比 HDFS 更 快 ， 也 不 会 像 NoSQL 
那样 修改 数据 或 访问 单条 记录 。 


它 的 底层 存储 使 用 了 列 式 格式 ， 这 有 助 于 数据 扫描 ， 但 要 以 PUT 和 GET 的 性 能 为 代价 。 
因为 列 式 格式 需要 在 不 同 的 文件 或 位 置 写 人 每 一 列 一 对 于 Kudu 来 说 ， 需 要 写 和 人 到 不 同 
的 文件 。 这 意味 着 如 果 有 100 列 ， 那 么 在 使 用 GET 获取 一 条 记录 时 需要 查找 100 次 磁盘 。 
如 果 在 机 械 式 硬盘 上 执行 这 样 的 操作 ， 那 么 执行 最 基本 的 PUT 和 GET 需要 花费 很 长 的 时 
间 。 因 此 ， 在 使 用 Kudu 时 ， 建 议 使 用 固态 硬盘 。 



























































由 于 存在 这 些 限制 ，Kudu 主要 适用 于 需要 几 近 实时 修改 数据 的 场景 。 本 书 不 会 具体 地 讨 
论 Kudu， 但 会 提 到 适合 扫描 的 数据 表 ， 比 如 HDFS、S3 或 Kudu 的 数据 表 。 








2. CockroachDB 

CockroachDB 这 个 名 字 可 能 是 所 有 存储 平台 中 最 奇怪 的 一 个 。 暗 晴 (cockroach) 很 难 被 杀 
死 ，CockroachDB 就 是 借鉴 了 这 个 寓意 。 可 以 将 CockroachDB 视 为 Impala 和 Kudu 的 杂交 ， 
只 不 过 它 还 提供 了 事务 和 柚 套 类 型 。 在 Kudu 中 ，SQL 层 独 立 于 存储 系统 ， 而 CockroachDB 
更 像 是 Cassandra 或 传统 的 关系 数据 库 ， 它 将 SQL 作为 与 系统 交互 的 主要 方式 。 











CockroachDB 之 所 以 能 够 在 所 有 Spanner 开源 解决 方案 中 脱颖而出 ， 是 因为 它 提供 了 具备 
快照 隔离 和 可 串 行 化 快照 隔离 的 事务 机 制 ， 这 是 维护 数据 完整 性 的 重要 机 制 。 为 了 更 好 地 
理解 不 同事 务 类 型 之 间 的 区 别 ， 下 面 提供 了 更 多 有 关 事 务 类 型 的 详细 信息 。 


























快照 隔离 与 可 串 行 化 快照 隔离 
尽管 事务 是 传统 数据 管理 系统 (如 关系 数据 库 ) 的 组 成 部 分 ， 但 在 开源 的 分 布 式 数 据 
管理 系统 中 并 不 常见 。 因 此 ， 为 了 更 好 地 说 明 事务 隔离 类 型 之 间 的 差别 ， 这 里 使 用 了 
来 自 数 据 库 专 家 Jim Gray 的 一 个 示例 。 在 这 个 示例 中 ， 一 个 袋子 里 装 有 4 个 球 : 2 个 
黑 球 和 2 个 白 球 。 然 后 ， 做 出 如 下 修改 并 提交 。 
将 所 有 和 白 球 改 为 黑色 。 
将 所 有 黑 球 改 为 白色 。 


以 下 是 事务 开始 和 结束 的 时 间 线 : 
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与 色 一 基 黑色 

















黑色 一 上 戎 白 


[BB 











在 使 用 可 串 行 化 快照 隔离 时 ， 这 两 个 命令 将 逐个 执行 ， 如 图 5-16 所 示 。 








人 
@@ @@ oOo 
OO @@ 

A 

> 


虚线 表示 它们 发 生变 化 了 











图 5-16: 可 串 行 化 快照 隔离 事务 


在 使 用 快照 隔离 时 ， 将 看 到 不 一 样 的 结果 。 因 为 命令 是 并 行 触 发 的 ， 它 们 会 独立 修改 
不 同 的 球 ， 如 图 5-17 所 示 。 
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图 5-17: 快照 隔离 事务 











5.2.7 内存 存储 系统 


本 章 要 讨论 的 最 后 一 种 存储 系统 是 内 存 存 储 系统 。 前 文 讨 论 过 的 大 多 数 存储 解决 方案 使 用 





了 某 种 类 型 的 内 存 








层 进 行 缓存 和 (或 ) 缓冲 。 此 外 ， 有 很 多 常 月 


日 的 数 





居 缓 存 系统 可 以 作为 


应 用 层 的 一 部 分 ， 例 如 Memcached 或 Oracle Coherence。 本 节 谈 论 的 是 长 期 的 存储 系统 ， 
它们 将 内 存 存储 作为 存储 的 核心 部 分 。 这 是 一 个 很 大 的 类 别 ， 无 法 完全 覆盖 。 本 节 只 讨论 
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其 中 的 两 种 ， 它 们 可 以 代表 内 存 存 储 系统 所 能 提供 的 特性 。 


。 Druid， 提 供 高 性 能 的 并 行 操作 。 

。 Redis， 支 持 高 级 数据 结构 。 

Spark Streaming、Flink 和 Kafka Streams 等 流 式 引擎 也 可 以 提供 类 似 的 功能 ， 因 为 它们 在 
引擎 内 提供 了 持久 化 状态 。 本 章 重点 关注 存储 系统 ， 第 8 章 会 用 一 定 篇 幅 讨 论 流 式 引 警 。 


1. Druid 

先 从 Druid 开始 ， 它 与 OpenTSDB、InfluxDB 和 Facebook 的 Beringei 等 系统 属于 同一 类 。 
不 同 之 处 在 于 ，Druid 提供 了 一 个 支持 跨 指标 聚合 的 大 型 分 布 式 缓存 层 。 来 看 看 它 与 普通 
的 时 序数 据 库 有 什么 不 同 。 举 例 来 说 ， 在 OpenTSDB 中 ， 指 标 是 相 邻 存储 在 磁盘 上 的 ， 如 
图 5-18 所 示 。 


[本 可 [本 加 四 四 四 0000 
[有 [本 加 国 加 0000 
加 回国 加 0000 


图 5-18: OpenTSDB 的 指标 存储 方式 


如 果 要 聚合 一 组 指标 ， 那 么 就 需要 先 查 找 它们 ， 然 后 执行 合并 连接 。 在 典型 的 聚合 场景 
中 ， 比 如 聚合 分 布 式 系 统 的 CPU 使 用 指标 ， 聚 合 操作 可 以 被 转换 成 针对 数 千 个 甚至 数 
百 万 个 指标 进行 相 加 或 求 平 均值 操作 。 在 典型 的 时 序 系 统 中 ， 这 不 仅 需要 进行 大 量 的 磁盘 
搜索 ， 而 且 聚 合 可 能 不 会 分 布 式 进行 ， 如 图 5-19 所 示 。 
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5-19: 时 序数 据 库 中 的 数据 分 布 
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相 比 之 下 ，Druid 的 架构 如 图 5-20 所 示 。 


需要 注意 的 是 ， 最 近 使 用 的 数据 保存 在 内 存 中 ， 支 持 分 布 式 查询 。 这 避免 了 磁盘 查找 ， 并 
解决 了 分 布 式 聚 合 问题 。 另 外 ，Druid 利用 磁盘 存储 旧 数 据 ， 所 以 它 不 只 是 一 个 内 存 系统 。 





















短 TTL 内 在 损 作 
Metadata Store 





实时 数据 集群 


实时 数目 实 时 数 | | 实时 数 
据闻 点 上 | 据 市 点 用 据 市 点 






















查询 计划 和 
响应 准备 新 数据 摄取 
历史 数据 集群 
异步 批量 操作 
历史 数目 历史 数 | | 历史 数 
据 节 点 由 据 节点 上 气节 点 





可 插 拔 存储 











5-20: Druid 的 架构 


2. Redis 
Redis 是 一 个 非常 流行 的 内 存 系统 ， 它 提供 了 多 种 数据 结构 。 虽 然 这 种 内 存 数据 存储 系统 
可 能 受到 市 点 的 成 本 和 数据 密度 的 影响 ， 但 也 有 一 些 优势 ， 比 如 支持 高 级 数据 结构 。 


Redis 非常 适合 作为 缓存 层 ， 例 如 ， 为 在 线 应 用 程序 提供 会 话 缓存 。 此 外 ，Redis 提供 的 列 
表 和 集合 还 支持 以 下 功能 : 


添加 按 分 数 排名 的 实体 ， 
获取 给 定 实体 的 排名 ， 
从 给 定 排名 向 上 或 向 下 翻 页 ; 

更 新 实体 并 沿 着 排名 顺序 移动 。 


一 个 常见 的 示例 是 动态 排行 榜 ， 例 如 ， 在 线 游 戏 得 分 最 高 者 列表 。 
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在 HDFS、S3 或 NoSQL 中 实现 这 些 操作 并 不 容易 。 尽 管 NoSQL 提供 了 基于 索引 和 数据 存 
储 的 排序 机 制 ， 但 它 在 速度 方面 无 法 与 Redis 这 样 的 内 存 数据 存储 系统 相 媲 


























5.3 ”小结 


本 章 介绍 了 一 个 用 于 评估 开源 企业 存储 系统 的 框架 。 这 个 框架 基于 一 组 标准 对 存储 系统 进 
行 分 类 ， 并 提供 了 为 数据 架构 选择 存储 系统 的 指南 。 其 中 的 考虑 因素 包括 系统 如 何 对 数据 
进行 分 区 、 如 何 处 理 数 据 变更 、 如 何 访问 数据 以 及 一 致 性 和 可 用 性 模型 。 基 于 这 些 考 虑 因 
素 ， 我 们 还 定义 了 这 些 系统 的 主要 适用 场景 。 












































当然 ， 我 们 无 法 覆盖 所 有 可 用 的 系统 和 所 有 用 例 ， 但 本 章 提供 的 框架 应 该 有 助 于 设计 出 数 
据 解决 方案 的 最 佳 架构 。 
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企业 元 数据 


meta 是 一 个 非常 有 趣 的 单词 ， 经 常 被 用 在 不 同 场景 中 。 在 本 书 中 ， 它 指 的 是 为 某 些 相关 
信息 提供 高 级 上 下 文 和 描述 的 信息 。 在 数据 之 外 的 领域 ， 比 如 电子 游戏 和 电子 莞 技 ， 经 党 
会 听 到 人 们 谈论 游戏 的 meta。 在 电子 游戏 中 ， 这 个 单词 是 指 在 游戏 中 使 用 的 策略 和 方法 。 
了 解 meta 并 懂得 如 何 利用 它 的 人 比 那 些 纯粹 为 了 娱乐 的 人 能 够 从 游戏 中 获得 更 大 的 成 就 。 














在 数据 的 世界 里 ， 元 数据 (metadata) 是 与 数据 以 及 使 用 数据 有 关 的 信息 和 策略 。 


元 数据 


提供 了 额外 的 可 见 性 ， 比 如 存储 了 哪些 数据 、 这 些 数据 用 来 做 什么 以 及 谁 在 使 用 这 些 数 
据 。 在 某 些 情况 下 ， 元 数据 可 能 比 数据 本 身 更 重要 ， 而 且 元 数据 通常 比 实际 数据 存活 的 时 
间 更 长 。 有 效 的 元 数据 管理 是 构建 数据 解决 方案 的 一 个 至 关 重要 的 部 分 。 因 此 ， 本 章 将 讨 





























论 如 何在 数据 应 用 程序 中 规划 和 管理 元 数据 解决 方案 。 























在 设计 数据 解决 方案 时 ， 管 理 元 数据 可 能 是 最 难以 应 对 的 挑战 之 一 。 这 要 归 因 于 复杂 的 数 


据 系 统 所 涉及 的 大 量 数据 源 、 摄 取 选 项 、 存 储 系统 和 访问 模式 。 此 外 ， 新 的 企业 数据 管理 
系统 能 够 帮助 用 户 更 方便 地 访问 数据 ， 以 进行 处 理 和 分 析 ， 这 意味 着 会 不 断 创建 出 新 的 数 








据 集 。 


不 过 ， 一 个 健壮 的 元 数据 解决 方案 带 来 的 好 处 通常 会 超过 实现 该 解决 方案 本 身 的 难 











EE 度 ， 而 








且 当 下 正 是 规划 解决 方案 的 最 佳 时 机 。 在 构建 解决 方案 时 就 应 用 策略 比 在 后 期 再 追溯 要 容 











易 得 多 。 将 精力 更 多 地 放 在 项 目 规划 阶段 有 助 于 创建 出 成 功 且 可 管理 的 数据 项 目 。 
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头发 上 的 花生 六 


在 Cloudera 工作 期 间 ， 我 无 意 中 听 到 了 一 个 有 关 花 生 着 和 头发 的 比喻 ， 这 些 话 一 直 荣 
绕 在 我 的 脑海 里 。 当 时 我 正在 与 接口 设计 团队 合作 ， 并 尝试 加 快 为 谋 套 类 型 定义 API 
的 过 程 。 当 时 有 人 说 :“ 开 发 接口 就 像 把 花生 着 涂 在 头发 上 。 涂 上 很 容易 ， 但 要 清理 干 
净 就 难 了 。” 

可 能 很 难看 出 这 与 元 数据 有 什么 关系 ， 但 可 以 想象 一 下 从 头发 上 清除 花生 普 的 那 种 挫 
败 感 。 在 构建 一 个 长 期 运行 的 基础 设施 时 ， 关 键 的 是 要 做 正确 的 事情 。 这 计划 看 起 来 
似乎 完全 与 遵循 敏捷 流程 背道而驰 。 不 过 ， 在 构建 需要 持续 运行 多 年 的 企业 数据 基础 
设施 上 时， 速度 固然 重要 ,但 有 了 时候 前 脆性 也 很 重要 。 元 数据 管理 无 疑 就 是 一 个 值得 花 
时 间 深 思 芍 虑 的 领域 ， 从 而 得 到 一 个 健壮 的 流程 














6. 


1 为 什么 要 关注 元 数据 














在 讨论 如 何 管理 元 数据 之 前 ， 先 来 讨论 一 下 为 什么 要 进行 元 数据 管理 。 成 功 的 元 数据 策略 
将 在 3 个 关键 维度 上 为 业务 带 来 价值 : 数据 可 见 性 、 数 据 之 间 的 关系 以 及 与 数据 相关 的 


监管 。 














6.1.1 数据 可 见 性 

在 过 去 的 10 多 年 里 ， 我 们 和 很 多 公司 有 过 合作 。 我 们 发 现 ， 一 家 公司 是 否 清楚 自己 收集 
了 哪些 数据 以 及 如 何 访问 这 些 数据 ， 代 表 了 这 家 公司 数据 实践 的 成 熟 度 。 数 据 目 录 就 是 一 
种 元 数据 ， 其 中 包括 了 字段 名 、 每 个 字段 表示 的 内 容 、 字 段 的 谱系 ， 等 等 。 公 司 里 所 有 数 
据 工作 者 都 应 该 可 以 访问 这 些 目录 (实施 了 适当 的 安全 限制 措施 )。 


这 档 



































做 可 以 获得 很 多 好 处 。 





口 将 数据 产品 更 快 地 推 向 市 场 
只 要 知道 有 哪些 现成 的 数据 以 及 它们 所 在 的 位 置 ， 就 不 需要 浪费 时 间 查 找 数据 或 创建 新 
的 数据 收集 管道 


口 避免 重复 的 工作 


当 多 个 部 门 或 团队 需要 类 似 的 数据 时 ， 重 复 收集 数据 会 浪费 时 间 和 精力 。 通 过 访问 可 用 





数据 的 目录 可 以 避免 这 种 浪费 。 


口 获得 更 多 价值 
要 想 从 数据 中 获取 价值 ， 首 先 需要 弄 清楚 可 以 从 数据 中 绪 得 什么 价值 。 随 着 对 收集 的 数 
据 有 了 更 多 了 解 ， 数 据 科学 家 和 分 析 人 员 就 渐渐 知道 能 够 使 用 这 些 数 据 来 探索 和 解决 哪 

















些 问 题 。 
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口 找 出 差距 
知道 自己 拥有 哪些 数据 ， 与 知道 自己 虽 未 拥有 但 应 该 拥有 的 数据 有 着 直接 的 联系 。 数 据 
的 可 见 性 越 高 ， 就 越 容易 识别 出 其 中 的 差距 。 


6.1.2 ”数据 之 间 的 关系 


在 提高 数据 可 见 性 的 同时 ， 还 可 以 看 到 不 同 数据 集 之 间 的 相关 性 。 理 解 这 些 关 系 有 助 于 开 
发 出 跨 不 同 实 体 类 型 的 复杂 用 例 。 









































与 硬件 和 软件 位 置 相关 的 元 数据 是 系统 架构 中 一 种 有 用 的 实体 关系 。 为 了 进一步 说 明 这 一 
点 ， 下 面 将 使 用 商用 Hadoop 管理 解决 方案 作为 示例 。 我 们 有 一 个 包含 多 种 实体 的 数据 模型 : 


时 机 架 
» 应 用 程序 ; 


。 服务 。 

















有 了 这 些 实体 ， 就 可 以 使 用 被 标记 的 字段 来 生成 Hadoop 管理 系统 的 实体 关系 图 了 ， 就 像 
关系 模型 那样 ， 如 图 6-1 所 示 。 





























6-1: Hadoop 集群 的 实体 关系 图 

















在 理解 了 这 些 关系 之 后 ， 可 以 进行 以 下 事项 。 
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口 遍历 
治 着 任意 一 条 线 发 现 其 他 实体 。 可 以 从 某 个 机 架 开 始 ， 找 出 在 该 机 架 上 运行 的 应 用 程序 。 





口 汇总 
对 一 组 实体 的 状态 或 问题 进行 汇总 。 比 如 在 上 述 示例 中 ， 可 以 追踪 到 关闭 一 个 机 架 顶 部 
开关 会 导致 多 少 应 用 程序 中 断 ， 因 为 你 知道 这 些 应 用 程序 与 受 影响 机 架 之 间 的 关系 。 


接 下 来 ,添加 更 多 的 实体 : 








。 Kafka 主题 ; 

。 数据 库 表 ， 

。 查询 (包括 输入 和 输出 ) ; 
。 流 处 理 操 作 ， 

。 源 数据 生成 器 。 


我 们 的 想法 是 : 只 要 拥有 足够 多 的 实体 ， 就 可 以 了 解 有 关 数据 的 完整 故事 ， 比 如 数据 是 如 
何 进入 系统 的 、 存 储 数据 的 位 置 、 如 何 使 用 数据 、 如 何 利 用 输出 结果 ， 等 等 。 


6.1.3 数据 监管 
在 规划 数据 项 目 时 ， 相 关 的 监管 问题 变 得 越 来 越 重要 。 其 中 有 一 些 促成 因素 。 
口 数据 量 
收集 的 数据 量 每 年 呈 指 数 级 增长 。 这 当然 也 包括 了 个 人 数据 。 
口 安全 性 
随 着 对 个 人 数据 收集 的 增长 ， 黑 客 攻击 事件 越 来 越 多 ， 这 影响 了 数 百 万 人 。 同 时 ， 庞 大 


的 数据 量 赋予 了 数据 更 多 价值 ， 保 护 数据 变 得 越 来 越 困 难 ， 非 法 获取 数据 和 当 用 数据 的 
情况 正在 增多 。 








ai 






































口 权力 
数据 能 够 给 公司 和 政府 带 来 的 好 处 是 显而易见 的 。 现 在 的 问题 是 : 在 数据 收集 和 使 用 方 
面 ， 公 司 和 政府 应 该 获得 多 大 的 权力 ? 随 着 此 类 问题 变 得 越 来 越 紧迫 ， 对 数据 进行 监管 
和 监督 的 呼声 将 会 越 来 越 高 。 

监管 回应 

有 些 监管 机 构 已 经 开始 对 数据 收集 的 负面 影响 做 出 回应 。 例 如 ， 欧 盟 通 过 的 《通用 数据 保 

护 条 例 》(GDPR) 要 求 公司 必须 制定 适当 的 政策 来 应 对 以 下 问题 。 


掌握 个 人 信息 的 权利 
任何 人 都 可 以 要 求 任意 一 家 公司 提供 有 关 自 身 数据 的 详细 信息 。 这 对 数据 系统 的 影响 可 能 




















会 非常 大 。 不 仪 需要 知道 某 个 人 的 数据 保存 在 公司 的 什么 地 方 ， 还 需要 和 弄 清 楚 如 何以 有 效 
的 方式 查询 数据 ， 以 及 如 何在 不 泄露 内 部 数据 系统 的 机 密 信息 的 情况 下 显示 数据 。 














删除 个 人 信息 的 权利 
任何 人 都 可 以 要 求 删除 与 其 相关 的 数据 或 对 数据 做 出 修改 。 这 也 可 能 对 系统 产生 重大 影响 。 
限制 数据 应 用 的 权利 


公司 只 能 将 收集 到 的 数据 用 于 某 些 特定 的 目的 ， 并 需要 在 个 人 同意 公司 提供 的 服务 条 款 之 
后 才 这 样 做 。 这 也 将 影响 到 数据 系统 ， 因 为 它 要 求 公 司 收集 那些 使 用 了 特定 数据 的 处 理 类 
型 的 信息 。 


安全 性 影响 评估 

企业 有 必要 快速 知道 哪些 数据 在 遭遇 黑客 攻击 时 受到 了 损坏 。 了 解 收集 了 哪些 数据 及 其 存 
储 位 置 对 于 这 类 评估 来 说 至 关 重 要 。 这 涉及 前 面 提 到 的 所 有 考虑 事项 ， 有 关 数 据 的 知识 、 
数据 之 间 的 关系 、 理 解 与 数据 有 关 的 访问 和 处 理 情况 ， 等 等 。 


拥有 元 数据 对 于 满足 上 述 监管 要 求 至 关 重 要 。 如 果 不 知道 从 某 个 客户 那里 收集 了 哪些 数据 
以 及 存储 于 何 处 ， 那 么 就 无 法 遵守 “删除 个 人 信息 的 权利 ”规则 。 


6.2 ”数据 架构 中 的 元 数据 类 型 

前 文 已 经 讨论 了 元 数据 的 重要 性 ， 并 说 明了 为 什么 需要 一 个 好 的 元 数据 策略 。 接 下 来 讨论 

在 制定 可 行 的 策略 时 需要 关注 哪些 元 数据 类 型 。 

口 静态 数据 
静态 数据 是 已 经 被 摄取 到 磁盘 存储 (在 某 些 特殊 情况 下 是 内 存 ) 上 的 数据 的 元 数据 。 可 
以 是 长 期 存储 的 ， 例 如 Hadoop 分 布 式 文件 系统 (HDFS) ; 也 可 以 是 短期 存储 的 ， 例 如 
Kafka 主题 。 








































































































口 动态 数据 

一 般 来 说 ， 动 态 数据 是 通过 数据 管道 传输 的 数据 。 

口 数据 源 (实体 ) 的 元 数据 

数据 源 (实体 ) 的 元 数据 包括 在 6.1.2 节 中 讨论 的 实体 类 型 。 
口 有 关 数 据 处 理 的 元 数据 

有 关 数 据 处 理 的 元 数据 ， 也 可 以 将 其 称 为 操作 型 元 数据 。 
口 报告 和 仪表 查 

报告 和 仪表 盘 是 描述 系统 生成 的 报告 的 元 数据 。 
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6.2.1 静态 数据 
静态 数据 是 指 长 期 保存 在 系统 中 的 数据 ， 例 如 数据 库 中 的 表 和 字段 、 基 于 Lucene 的 系统 
中 的 集合 、 时 序数 据 库 中 的 指标 ， 以 及 文件 系统 或 对 象 存储 中 的 文件 。 可 以 将 这 一 层 的 元 
数据 视 为 可 用 数据 的 目录 。 


在 存储 这 类 数据 的 元 数据 时 ， 通 常会 使 用 有 意义 、 可 搜索 和 可 索引 的 数据 对 其 进行 标记 。 
来 看 一 下 客户 收据 数据 表示 例 ( 表 6-1)。 数 据 库 的 名 字 叫 作 Purchasing。 


表 6-1: 客户 收据 数据 表 























字 段 类 型 
User id Long 
Receipt_num Long 

Item purchased_id Long 

Amount Decimal(7,2) 
Timestamp Timestamp 
Method String 
Card_id Long 
Purchased_port String 


表 6-1 中 显示 的 每 个 字段 和 类 型 都 是 数据 库 、 表 和 字段 的 元 数据 。 至 少 ， 我 们 需要 保存 这 
些 元 数据 ， 并 能 够 访问 它们 。 可 以 将 它们 保存 在 基于 Lucene 的 系统 或 像 Hive Metastore 这 
样 的 元 数据 存储 库 中 。 也 可 以 捕获 更 多 的 元 数据 ， 以 下 举例 。 


口 审计 日 志 
数据 表 是 如 何 创建 的 ， 以 及 表 的 变更 历史 记录 。 
口 注释 
对 数据 表 和 字段 的 注释 。 

















口 标记 

。 标记 字段 ,假设 它们 包含 个 人 数据 (如 User_id 和 Card_id)。 

。 标记 可 连接 表 。 假 设 Card_id 是 唯一 标识 符 ， 因 为 要 在 查询 中 隐藏 实际 的 卡号 。 为 
了 确保 数据 库 用 户 知道 如 何 通过 执行 连接 来 获取 卡号 ,需要 标记 Card_id 字段 ， 指 
明 需 要 连接 哪个 表 来 获取 真实 的 标识 符 。 

。 详细 信息 ， 如 数据 所 有 者 。 


口 访问 权限 
谁 可 以 访问 数据 表 。 
口 使 用 情况 
哪些 查询 和 用 户 正在 访问 数据 表 。 
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口 来 源 
数据 的 谱系 ， 例 如 ， 数 据 是 从 源 系 统 收集 的 还 是 由 转换 作业 生成 的 。 


6.2.2 ”动态 数据 
我 们 已 经 讨论 了 静态 数据 的 元 数据 ， 接 下 来 介绍 动态 数据 的 元 数据 。 在 现代 数据 架构 中 ， 
可 以 通过 多 种 方式 摄取 数据 ， 来 看 看 其 中 的 一 些 方法 。 


1. 批 次 传输 

在 批 次 传输 模式 下 会 定时 发 送 数据 ， 然 后 将 其 以 记录 批 次 的 形式 存 入 系统 中 。 批 次 传输 的 
常用 方法 是 通过 FTP、SCP 或 切换 到 对 象 存储 。 数 据 可 以 采用 CSV、JSON、 二 进 制 等 格 
式 进 行 传输 ， 而 且 通 常会 被 压缩 ， 如 图 6-2 所 示 。 
































图 6-2: 批 次 数据 传输 


2. 流 式 传输 或 微 批 次 传输 

在 采用 流 式 传输 或 微 批 次 传输 时 ， 数 据 会 在 系统 中 持续 移动 。 物 联网 中 的 传感器 数据 
就 是 一 个 例子 。 通 常 ， 管 道中 的 某 个 位 置 会 存在 某 种 形式 的 可 扩展 管道 (例如 消息 队 
列 或 Kafka)， 后 面 会 有 一 个 服务 ， 对 流 式 数 据 进 行 转换 并 将 其 摄取 到 目标 位 置 ， 如 图 6-3 
图 6-3: 流 式 数 据 传输 


所 示 。 
目的 地 
接 天 
三 
3. 应 用 程序 操作 


在 这 个 架构 中 ,数据 存储 直接 连接 到 应 用 程序 ， 应 用 程序 直接 将 数据 写 入 这 些 数据 存储 。 
不 过 ， 操 作 数 据 存 储 与 分 析 数 据 存 储 相 分 离 的 情况 变 得 越 来 越 普遍 。 这 意味 着 即使 应 用 程 
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序 有 一 个 操作 数据 存储 ， 它 也 会 使 用 批 处 理 或 流 处 理 将 数据 推送 到 外 部 的 分 析 数 据 存储 。 
这 种 工作 流 如 图 6-4 所 示 。 























数据 存储 




















图 6-4: 应 用 程序 和 数据 存储 之 间 的 数据 传输 


4. 转换 后 处 理 

转换 后 处 理发 生 在 基于 现 有 数据 集 创 建新 数据 集 的 时 候 (图 6-5)， 通 常会 使 用 SQL 或 
Apache Spark 等 分 布 式 处 理 引擎 来 进行 转换 后 处 理 。 这 些 处 理 作业 既 可 以 是 生产 作业 ， 也 
可 以 是 用 户 在 临时 会 话 期 间 触发 的 作业 。 
























































目的 地 














图 6-5; 基于 现 有 数据 集 创建 新 数据 集 


5. 为 动态 数据 捕获 元 数据 

数据 管道 有 很 多 和 人 口 点 。 我 们 需要 了 解 所 有 入 口 点 ， 并 对 它们 进行 分 类 ， 以 成 功 地 捕获 元 
数据 。 了 解 存储 在 系统 中 的 数据 的 谱系 十 分 重要 。 接 下 来 深入 探讨 一 下 在 收集 有 关 数 据 移 
动 和 数据 转换 的 元 数据 时 需要 捕捉 的 内 容 。 

路 径 

我 们 要 标记 数据 流 经 系统 的 路 径 。 图 6-6 显示 了 系统 路 径 包 括 很 多 组 件 ， 例 如 源 系 统 、 数 


据 收 集 系 统 、 数 据 路 由 、 数 据 转换 ， 等 等 。 后 文 将 讨论 与 某 些 组 件 的 特定 元 数据 相关 的 注 
意 事 项 。 






































低 延迟 存储 














图 6-6: 数据 管道 路 径 示例 


数据 源 
数据 源 是 指数 据 的 来 源 。 它 们 通常 是 外 部 系统 ， 也 可 以 是 内 部 系统 或 现 有 的 数据 源 。 
数据 移动 





数据 移动 定义 了 数据 采取 的 路 由 ， 通 常会 描述 数据 是 分 又 的 还 是 被 发 送 到 多 个 位 置 的 。 例 
如 ， 图 6-6 展示 了 初始 管道 会 发 送 给 数据 转换 组 件 以 及 接收 器 和 目标 存储 系统 。 

第 7 章 将 讨论 更 多 有 关 路 由 的 内 容 ， 现 在 可 以 先 将 路 由 看 成 是 数据 从 数据 源 到 目的 地 的 路 
径 。 图 6-7 展示 了 一 个 基本 示例 ， 通 过 Kafka 从 多 个 数据 源 接收 数据 ， 然 后 根据 某 些 标准 
(如 数据 的 类 型 或 数据 的 预期 用 途 ) 将 输入 数据 路 由 到 多 个 目标 存储 系统 。 





























图 6-7: 路 由 多 个 数据 源 
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在 图 6-7 中 ， 路 由 元 数据 告诉 我 们 来 自 数 据 源 B 的 数据 将 通过 Kafka 到 达 S3 和 一 个 NoSQL 
系统 。 这 只 是 一 个 简单 的 示例 ， 在 现实 世界 中 ， 路 由 可 能 还 会 包括 数据 过 滤 、 数 据 修 改 等 。 
转换 

这 是 关于 如 何 转 换 数据 的 文档 。 以 下 是 需要 记录 的 一 些 因 素 。 

口 格式 变更 

源 数据 的 底层 数据 结构 是 什么 样 的 ， 在 转换 之 后 又 是 什么 样 的 ? 例如 ， 源 数据 可 能 是 
JSON， 但 目标 格式 可 能 是 Protocol Buffers。 








口 数据 保 真 度 

数据 是 否 经 过 过 滤 或 修改 ， 使 其 不 再 具有 完全 的 保 真 度 ? 

口 原子 、 连 接 、 会 话 或 上 下 文 

转换 是 否 只 基于 输入 记录 ， 或 存在 来 自 外 部 数据 的 其 他 上 下 文 ? 

口 作业 元 数据 

有 关 处 理 作 业 的 基本 信息 : 名 称 、 使 用 的 技术 、 生 产 状 态 、 版 本 号 、 项 目 负责 人 、 


SLA， 等 等 。 




















口 字段 元 数据 谱系 
本 章 在 前 面部 分 讨论 了 字段 元 数据 和 标记 。 在 将 字段 输入 到 转换 中 以 生成 新 字段 时 ， 需 
要 追踪 标记 和 元 数据 的 谱系 。 包 含 个 人 身份 信息 (PIT) 的 字段 就 是 一 个 很 好 的 例子 。 
如 果 字 段 是 由 转换 生成 的 ， 并 且 数 据 源 当 中 包含 了 PI 字段 ， 那 么 就 应 该 将 历史 PII 数 
据 的 存在 捕获 到 新 字段 中 。 

目的 地 

目的 地 记录 了 数据 的 着 陆 区 。 这 应 该 与 前 面 讨 论 过 的 静态 数据 的 元 数据 保持 一 致 。 实 际 

上 ， 应 该 将 这 些 元 信息 添加 或 链接 到 目标 元 数据 。 


6.2.3 ”数据 源 的 元 数据 

正如 目的 地 需要 元 数据 的 存在 一 样 ， 数 据 源 也 需要 有 元 数据 。 如 果 现 在 你 只 有 一 个 数据 
源 ， 这 似乎 有 点 夸张 ， 但 通常 情况 下 你 会 收集 多 个 来 源 的 数据 : 手机、 服务器、 传感器、 
数据 库 ， 等 等 。 我 们 希望 像 捕 获 系统 中 的 元 数据 一 样 捕获 这 些 数据 源 的 元 数据 。 

以 下 是 捕获 这 些 元 数据 的 一 些 原因 。 

口 了 解 是 什么 在 向 系统 提交 数据 


在 手机 世界 里 ， 手 机 的 类 型 (型 号 、 内 存 、CPU 等 ) 或 位 置 (信号 强度 、 与 移动 通信 
基站 的 距离 ) 等 信息 可 能 有 助 于 了 解 如 何 改进 服务 。 
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口 识别 恶意 活动 
当 你 拥有 数 百 万 个 数据 源 时 (例如 在 物 联网 场景 中 )， 可 能 会 有 人 想 攻 击 你 的 系统 。 了 解 
数据 产 有 助 于 想 出 解决 方案 来 识别 这 些 不 良 分 子 ， 并 将 它们 与 真实 的 数据 源 分 开 处 理 。 


口 了 解 关 系 
假设 你 正在 监控 硬件 和 查看 故障 影响 。 在 这 个 时 候 ， 需 要 知道 服务 器 与 机 架 和 交换 机 之 
间 的 关系 元 数据 以 及 位 置 元 数据 。 这 也 适用 于 物 联 网 场景 ， 比 如 在 汽车 、 飞 机 等 大 型 系 
统 中 ， 从 多 个 传感器 获取 输入 。 


6.2.4 ”有 关 数 据 处 理 的 元 数据 

系统 中 的 数据 处 理 操 作 各 式 各 样 ， 从 简单 的 SQL 查询 到 高 级 的 Apache Spark 作业 、 机 器 
学 习 ， 等 等 。 此 外 ， 由 于 处 理 技术 的 多 样 性 ， 很 难 知 道 哪些 元 数据 正在 使 用 以 及 用 于 什么 
目的 。 至 少 需 要 确保 得 到 了 基本 的 信息 ， 从 而 为 构建 系统 英 定 基础 。 

口 访问 

谁 在 访问 特定 的 数据 ? 

口 频率 

访问 数据 的 频率 是 怎样 的 ? 

口 输 出 

数据 是 发 送 到 系统 之 外 还 是 发 送 到 系统 中 的 另 一 个 数据 表 中 ? 


口 使 用 的 技术 
一 些 技术 会 留 下 清晰 的 审计 线索 ， 例 如 SQL， 但 其 他 技术 可 能 很 难 追 踪 ， 例 如 Apache 
Spatk 作业 。Spark 作业 的 逻辑 隐藏 在 Java/Scala/Python 代码 中 ， 很 难 用 审计 工具 来 解释 。 












































请 注意 ， 捕 获 这 些 元 数据 对 于 生成 实际 、 可 操作 输出 结果 的 生产 作业 来 说 更 为 重要 。 一 方 
面 ， 对 于 那些 用 于 测试 、 研 究 等 场景 的 作业 ， 需 要 确定 元 数据 的 合理 捕获 量 。 另 一 方面 ， 
GDPR 等 法 规 不 区 分 生产 环境 和 开发 环境 ， 因 此 在 规划 时 需要 牢记 这 一 点 。 























对 于 生产 作业 ， 可 以 考虑 提供 源 代码 的 访问 权限 。 例 如 ， 把 代码 放 在 公司 的 GitHub 仓库 
中 ， 这 样 就 可 以 对 代码 进行 评审 。 





























随 着 算法 变 得 越 来 越 复杂 ， 理 解 这 些 算法 如 何 做 出 决策 也 变 得 越 来 越 困难 ， 因 此 ， 有 必要 
特别 考虑 一 下 机 器 学 习作 业 。 越 来 越 难以 理解 的 模型 ， 导 致 了 更 多 不 良 甚至 不 道德 的 结果 
出 现 ， 从 而 让 公司 面临 风险 。 请 考虑 捕获 以 下 内 容 。 


口 模型 的 目的 
模型 的 目标 用 例 是 什么 ? 
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口 使 用 的 技术 和 算法 
例如 ， 用 于 执行 上 均值 聚 类 作业 的 Spark MLlib 或 TensorFlow。 


口 输入 特征 
可 以 将 特征 看 作 机 器 学 习 算法 的 输入 。 例 如 ， 从 输入 数据 集中 选择 特定 的 数据 属性 ， 作 
为 上 均值 聚 类 的 输入 特征 。 


口 训练 数据 集 和 测试 数据 集 
用 于 训练 、 验 证 和 测试 模型 的 数据 。 




















口 训练 目标 

用 来 评估 模型 是 否 成 功 。 这 些 目标 将 高 度 依赖 于 应 用 程序 的 需求 、 算 法 等 ， 例 如 分 类 模 
型 的 分 类 准确 性 。 

口 人 为 调整 模型 
某 些 模型 可 以 通过 手动 输入 进行 修改 。 对 于 这 种 模型 ， 最 重要 的 是 捕获 调整 了 哪些 内 容 
以 及 背后 的 原因 。 


























口 模型 负责 人 
负责 实现 、 定 义 已 部 署 模 型 的 人 是 谁 ? 


6.2.5 ”报告 和 仪表 盘 

常见 的 输出 是 人 类 可 读 的 报告 和 仪表 盘 。 创 建 它们 很 容易 ， 但 很 快 就 会 过 时 。 

作为 元 数据 策略 的 一 部 分 ， 为 了 获取 可 见 和 可 操作 的 报告 ， 至 少 应 该 捕获 以 下 内 容 : 
中 数据 源 ; 

。 数据 转换 ， 

。 有 关 报 告 创建 者 的 信息 ; 

。 日 志 修 改 ; 

。 报告 的 目的 ; 

。 表示 它 与 哪些 内 容 相关 的 标签 。 


标签 有 助 于 将 报告 映射 回报 告 所 涉及 的 内 容 ， 例 如 与 区 域 、 位 置 、 版 本 等 相关 的 标签 。 因 
为 一 个 组 织 可 能 会 有 数 百 甚至 数 千 个 仪表 盘 ， 所 以 标签 可 以 作为 一 种 将 仪表 盘 链 接 回 它 们 
所 报告 的 内 容 的 工具 ， 从 而 减少 重复 报告 的 生成 。 

6.3 ”元 数据 收集 


元 数据 收集 是 一 项 极 具 挑战 性 的 任务 。 事 实 上 ， 很 多 公司 不 具备 捕获 元 数据 的 有 效 流 程 。 



































从 元 数据 管理 来 看 ， 公 司 通常 可 以 分 为 以 下 类 别 。 


口 多 数据 孤岛 
这 类 公司 有 很 多 部 门 ， 每 个 部 门 在 元 数据 管理 方面 具有 不 同 的 成 熟 度 ， 通 常 很 少 有 或 者 
根本 没有 跨 部 门 可 见 的 元 数据 。 


口 集中 的 知识 
在 这 类 公司 中 ， 只 有 少数 人 可 以 访问 或 了 解数 据 集 。 


口 周期 性 普查 
这 类 公司 的 数据 目录 是 手动 维护 的 ， 而 且 几 乎 总 是 过 时 。 每 年 或 者 每 隔 几 年 ， 他 们 会 派 
人 对 组 织 中 存在 的 数据 集 进行 编目 和 记录 ， 并 生成 数据 库 甚 至 电子 表格 ， 但 这 些 很 快 就 
会 过 时 。 














口 深思 卡 
这 类 公司 从 一 开始 就 制定 了 收集 数据 和 生成 数据 的 策略 。 由 于 公司 的 政策 和 流程 ， 所 有 
元 数据 都 尽 可 能 保持 最 新 。 本 节 将 以 这 类 公司 作为 范例 展开 讨论 。 


接 下 来 深入 研究 两 种 用 来 制定 元 数据 收集 策略 的 常用 方法 : 声明 和 发 现 。 声 明 是 指 通过 使 
用 系统 的 正常 操作 来 收集 数据 ， 发 现 则 是 为 了 和 弄 清楚 事实 背后 发 生 了 些 什么 。 


6.3.1 声明 式 元 数据 收集 


声明 式 元 数据 收集 是 指 在 向 系统 添加 新 数据 源 、 更 改 数据 用 途 或 移动 数据 时 创建 元 数据 。 
这 样 就 可 以 从 参与 数据 收集 的 个 人 或 组 织 那里 收集 元 数据 。 


只 有 当 用 于 装载 数据 、 管 理 数 据 路 由 或 用 途 的 工具 在 报告 变更 时 ， 才 会 发 生 声明 式 元 数据 
收集 。 这 很 可 能 是 通过 将 这 些 操作 限制 在 经 过 批准 、 完 全 集成 到 元 数据 解决 方案 中 的 路 径 
实现 的 。 实 现 这 一 目标 的 方法 依赖 于 特定 的 工具 。 

声明 式 元 数据 收集 需要 将 数据 操作 限制 为 已 批准 的 路 径 。 因 为 没有 人 喜欢 被 迫 严格 遵守 流 
程 ， 所 以 这 看 起 来 有 点 累 殉 。 可 以 通过 启用 一 些 流程 来 促进 这 些 元 数据 的 收集 ， 以 避免 使 
其 成 为 一 种 负担 。 此 时 ， 有 必要 回顾 一 下 那些 更 具 挑 战 性 的 数据 管道 特性 。 






























































口 它们 并 不 简单 
要 正确 地 执行 摄取 数据 和 处 理 数据 等 操作 ， 需 要 对 数据 进行 监控 、 转 换 、 扩 展 和 故障 转 
移 等 。 


口 它们 可 能 会 使 用 相对 标准 化 的 架构 
我 们 讨论 了 批 次 和 流 式 的 用 例 ， 虽 然 它们 的 实现 方式 不 同 ， 但 完全 可 以 使 用 有 限 数 量 的 
实现 来 支持 大 多 数 用 例 。 
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简化 数据 管道 的 使 用 有 助 于 将 声明 式 元 数据 收集 集成 到 管道 中 。 可 以 通过 以 下 方法 来 简化 
数据 管道 的 使 用 。 


口 通过 供应 商工 具 来 声明 摄取 
例如 ， 可 以 使 用 Confluent Schema Registry 捕获 所 有 与 schema 相关 的 信息 ， 并 为 元 数据 
解决 方案 提供 信息 (作为 schema 注册 的 一 部 分 )。 


口 使 用 Hive Metastore 
如 果 将 声明 式 方 法 与 元 数据 解决 方案 集成 在 一 起 ， 并 将 报告 变更 作为 变更 过 程 的 一 部 
分 ， 那 么 使 用 Hive Metastore 或 其 他 集中 式 Metastore 可 能 是 声明 式 方法 的 关键 。 


声明 式 解 决 方案 的 主要 思想 是 在 完成 任意 操作 时 触发 元 数据 系统 ， 这 些 操作 可 能 是 摄取 数 
据 集 、 基 于 数据 集 创 建新 数据 表 或 者 转换 数据 集 。 在 触发 元 数据 系统 后 ， 供 应 商工 具 会 将 
通知 作为 系统 操作 的 一 部 分 发 送 给 元 数据 系统 ， 或 者 元 数据 系统 会 读 取 管理 系统 的 编辑 日 
志 。 然 而 ， 这 种 方式 的 实现 将 取决 于 具体 的 解决 方案 。 





























应 该 声明 什么 样 的 元 数据 

在 设计 声明 式 路 径 时 ， 需 要 构建 之 前 讨论 过 的 元 数据 类 型 : 
。 数据 源 ， 

。 使 用 的 技术 ， 

。 表 、 字 段 名 和 标签 ; 

。 目的 地 ，; 

。 数据 的 使 用 ， 

















。 数据 的 所 有 者 或 管理 员 


最 接近 数据 的 人 就 是 那些 输入 数据 的 人 。 他 们 最 了 解数 据 ， 而 且 可 能 与 实现 完整 而 准确 的 
元 数据 收集 有 关 。 这 也 是 一 个 获取 其 他 链接 数据 集 的 知识 和 上 下 文 以 及 避免 潜在 的 数据 重 
复 的 好 机 会 。 


6.3.2 ”发 现 式 元 数据 收集 

在 某 些 情况 下 ， 数 据 不 是 通过 声明 的 方式 创建 的 。 这 可 能 是 由 于 收集 过 程 或 工具 无 法 提供 
全 面 的 解决 方案 。 因 此 ， 与 声明 式 解 决 方案 不 同 ， 发 现 式 解 决 方案 关注 的 是 最 终 的 数据 ， 
并 尝试 使 用 脚本 模式 找 出 发 生 了 什么 事情 。 


声明 式 过 程 很 难 覆 盖 到 的 一 个 情况 是 : 通过 SQL 或 其 他 ETL 工具 ， 基 于 其 他 表 创 建新 的 
表 或 基于 其 他 数据 源 创 建新 的 数据 集 。 在 这 种 情况 下 ， 发 现 式 元 数据 收集 是 一 种 更 好 的 办 
法 。 通 过 来 自 日 志 或 作业 的 信息 找 出 输入 和 输出 ， 还 可 以 扫描 现 有 的 表 ， 看 看 它们 如 何 与 
已 知 表 重 登 。 
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如 果 发 现在 定义 方面 存在 差距 ， 有 以 下 3 种 选择 。 


口 评审 数据 表 的 元 数据 
表 中 的 标记 或 注释 可 以 体现 更 多 有 关 表 及 其 来 源 的 信息 ， 可 能 还 会 体现 所 有 权 信 息 及 其 
与 数据 库 的 关系 。 有 了 上 所有权 信息 ， 我 们 就 知道 在 发 生 信息 丢失 时 应 该 联系 谁 或 通知 谁 。 


口 字段 内 容 分 类 
目前 有 很 多 工具 使 用 正则 表达 式 和 机 器 学 习 对 表 中 的 数据 进行 采样 ， 并 且 可 以 体现 表 中 
的 信息 。 例 如 ， 标 注 社保 号 、 信 用 卡号 和 电话 号 码 。 这 些 工具 不 仅 可 以 用 来 添加 列 或 表 
的 元 数据 ， 还 可 以 告诉 我 们 表 的 谱系 信息 。 请 注意 ， 其 中 大 多 数 工具 可 能 来 自 供应 商 和 
第 三 方 工具 。 
















































































口 审计 追踪 发 现 
与 数据 字段 分 类 类 似 ， 有 些 工 具 可 以 通过 日 志 、 生 成 表 等 元 素来 推断 元 数据 。 这 样 可 以 
在 没有 显 式 声明 的 情况 下 为 数据 、 谱 系 发 现 以 及 文档 (如 表 和 数据 集 ) 创建 审计 日 志 。 


如 何 处 理 未 记录 的 数据 集 
我 们 讨论 了 儿 种 方法 ， 它 们 可 用 于 发 现 未 记录 的 数据 集 的 源头 。 但 是 ， 在 某 些 情况 下 ， 可 
能 无 法 完全 发 现 源头 ， 或 者 会 发 现 一 些 不 可 接受 的 结果 。 对 于 这 些 情况 ， 也 有 一 些 办 法 。 


口 联系 数据 所 有 者 
如 果 有 足够 的 信息 找到 数据 所 有 者 ， 可 以 通过 电子 邮件 、 消 息 或 警报 与 他 们 取得 联系 ， 
从 而 收集 更 多 的 信息 或 做 出 修改 。 


口 锁定 数据 表 
在 某 些 情况 下 ， 处 在 未 记录 或 已 记录 状态 下 的 数据 集 是 不 可 接受 的 。 这 个 时 候 可 以 锁定 
数据 表 ， 除 了 管理 员 团 队 ， 没 有 人 可 以 访问 它 ， 甚 至 数据 集 所 有 者 也 无 法 访问 。 

口 删除 数据 
在 锁定 表 后 ， 最 好 可 以 启动 存活 时 间 (TTL) 计时 器 ，TTL 到 期 后 就 删除 数据 。 














口 审计 追踪 
需要 记录 和 检查 所 有 的 通知 、 锁 定 和 删除 操作 。 还 应 该 针对 违反 规则 的 用 户 采取 纠正 
措施 。 


ly A rm OL 
6.4 ”元 数据 管理 实践 

前 文 已 经 详细 讨论 了 元 数据 的 重要 性 ， 以 及 在 为 项 目 定 义 元 数据 策略 时 应 该 规划 些 什么 。 
如 何 实 现 全 面 的 元 数据 策略 则 是 一 个 更 大 的 挑战 。 这 一 挑战 很 大 程度 上 来 自 大 量 的 系统 、 
数据 源 、 数 据 格式 等 ， 它 们 很 可 能 是 分 布 式 数据 管理 系统 的 一 部 分 。 可 惜 的 是 ， 要 找到 一 
个 可 以 跨 整 个 数据 架构 管理 元 数据 的 工具 ， 仍 然 是 一 个 挑战 。 
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应 对 这 一 挑战 的 一 种 方法 是 创建 自己 的 解决 方案 。 当 然 ， 在 实现 和 维护 自 定义 解决 方案 时 
会 带 来 另外 的 挑战 。 更 好 的 办 法 是 尝试 使 用 供应 商 提供 的 或 第 三 方 的 解决 方案 。 大 多 数 企 
业 数 据 管理 供应 商 的 解决 方案 都 会 提供 元 数据 定义 、 数 据 谱 系 追 踪 、 数 据 审计 等 功能 。 这 
些 供应 商 在 产品 中 提供 了 适当 的 解决 方案 ， 可 以 作为 解决 元 数据 管理 问题 的 有 力 工具 。 寻 
找 跨 产品 的 解决 方案 是 一 项 更 大 的 挑战 ， 不 过 ， 一 些 数据 集成 供应 商 承诺 提供 “单一 管理 
平台 ”来 管理 跨 系统 的 元 数据 。 需 要 通过 探索 数据 架构 所 依赖 的 供应 商 或 项 目的 解决 方案 
(包括 第 三 方 解 决 方案 ) 来 制定 有 效 的 元 数据 管理 方法 。 












































6.5 小 结 


在 本 章 中 ， 我 们 讨论 了 将 元 数据 收集 作为 数据 架构 核心 部 分 进行 计划 和 实现 的 重要 性 。 原 
因 有 很 多 ， 包 括 监 管 方 面 的 原因 和 系统 可 维护 性 方面 的 原因 。 成 功 的 元 数据 策略 有 助 于 确 
保 系统 的 成 功 。 一 个 成 功 的 元 数据 策略 应 该 包含 以 下 内 容 。 


。 确定 需要 进行 元 数据 管理 的 数据 集 ， 包 括 静 态 数据 (长 期 存储 或 短期 存储 )、 处 理 管道 
中 的 动态 数据 、 源 数据 以 及 数据 处 理 和 分 析 。 

。 定义 不 同 数据 集 需 要 捕获 的 元 数据 。 

。 捕获 元 数据 的 方法 ， 包 括 声明 式 元 数据 收集 和 发 现 式 元 数据 收集 。 

。 识别 用 于 管理 元 数据 收集 的 工具 一 一 供应 商 提供 的 或 第 三 方 的 解决 方案 。 


未 能 实现 可 靠 的 元 数据 策略 可 能 会 导致 以 下 结果 。 


。 用 户 无 法 找到 所 需 的 数据 。 

。 数据 进出 系统 的 非 标准 机 制 。 
。 有 价值 的 数据 闲置 ， 因 为 其 至 没有 人 知道 它 的 存在 。 
。 潜在 的 法 律 或 监管 行为 可 能 对 公司 造成 损害 。 


我 们 还 讨论 了 某 些 元 数据 类 型 的 特殊 情况 ， 包 括 机 器 学 习 模型 和 敏感 数据 ， 如 个 人 身份 和 
财务 数据 。 最 后 ， 我 们 讨论 了 如 何 实现 这 些 目标 ， 包 括 使 用 支持 声明 式 元 数据 收集 或 发 现 
式 元 数据 收集 的 工具 ， 以 及 如 何 找到 可 以 辅助 元 数据 收集 的 工具 ， 包 括 供应 商 提供 的 和 第 
三 方 的 工具 。 













































































本 章 的 主要 结论 是 ， 我 们 应 该 像 对 待 公司 中 其 他 数据 集 一 样 对 待 元 数据 。 通 过 关联 、 连 接 
和 分 析 从 元 数据 中 获取 价值 ， 毕 竞 元 数据 代表 了 公司 的 运作 方式 和 对 数据 的 处 理 方式 。 数 
据 是 当今 企业 最 重要 的 资产 之 一 ， 因 此 捕获 有 关 数 据 收集 、 数 据 存储 和 数据 使 用 的 信息 也 
同样 重要 。 











第 7 章 


确保 数据 完整 性 








在 使 用 开源 企业 数据 管理 系统 时 ， 在 数据 架构 中 使 用 多 个 存储 和 处 理 层 是 很 常见 的 。 为 了 
优化 访问 ， 通 常会 使 用 多 种 格式 存储 数据 。 这 意味 着 可 能 会 存在 重复 数据 。 在 过 去 ， 由 于 
费用 和 复杂 性 方面 的 问题 ， 这 可 能 会 被 视 为 一 种 反 模 式 ， 但 随 着 新 系统 和 廉价 存储 的 出 
现 ， 这 种 方式 反而 变 得 切实 可 行 。 











当 数 据 从 数据 源 移动 到 最 终 存 储 时 ， 需 要 确保 数据 完整 性 ， 这 一 点 始终 未 变 。 数 据 完整 性 
是 指数 据 在 整个 数据 管道 中 的 准确 性 和 一 致 性 。 为 了 确保 数据 完整 性 ， 必 须知 道 所 有 流 经 
系统 的 数据 的 谱系 。 


本 章 将 讨论 数据 完整 性 ， 并 提供 一 些 示例 来 说 明 在 数据 流 经 系统 时 如 何 确 保 数据 完整 性 。 
我 们 将 讨论 全 保 真 数据 ， 即 保留 了 源 数据 完整 上 下 文 的 数据 。 这 些 数 据 可 能 与 源 数 据 的 存 
储 格式 不 同 ， 但 只 要 能 够 返回 到 原始 状态 ， 它 就 被 认为 是 完全 保 真 的 。 我 们 还 将 讨论 从 原 
始 源 数据 派生 出 来 的 数据 集 ， 例 如 ， 经 过 过 滤 和 聚合 的 数据 。 无 论 最 终 的 数据 集 是 完全 保 
真 的 还 是 派生 的 ， 保 持 数据 完整 性 都 至 关 重 要 。 























数据 在 系统 中 移动 时 所 发 生 的 处 理 类 型 可 以 用 来 确定 数据 是 完全 保 真 的 还 是 派生 的 。 为 了 
更 清楚 地 说 明 这 一 点 ， 下 面 提供 一 些 全 保 真 数据 集 和 派生 数据 集 的 例子 。 


口 全 保 真 数 据 集 
。 使 用 无 损 压 缩 格 式 压缩 的 数据 一 一 这 些 是 完全 保 真 的 数据 ， 只 是 被 压缩 了 。 
。 数据 从 一 种 格式 转换 为 另 一 种 格式 ， 例 如 ， 从 JSON 到 protobuf 一 一 这 些 也 是 完全 保 
真 的 ， 只 不 过 格式 不 同 。 
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口 派生 数据 集 
。 被 过 滤 了 列 的 数据 一 一 这 是 派生 ( 子 集 ) 数据 ， 因 为 保留 了 原始 数据 ， 但 过 滤 了 特 
定 的 值 。 
。 被 过 滤 了 行 的 数据 。 
。 聚合 数据 。 


并 非 所 有 数据 集 都 刚好 属于 某 一 个 类 别 。 例 如 有 一 个 数据 集 ， 它 将 原始 数据 集 与 附加 的 聚 
合 列 组 合 在 一 起 ， 在 这 种 情况 下 ， 原 始 列 的 数据 具有 完全 保 真 度 ， 但 新 列 是 派生 数据 。 


本 章 不 是 要 试图 涵盖 每 种 数据 处 理 场景 ， 而 是 要 提供 一 些 示例 ， 帮 助 你 思考 如 何 设计 自己 
的 数据 管道 ， 以 确保 系统 数据 的 完整 性 。 首 先 介 绍 一 些 可 能 会 被 用 在 系统 中 的 数据 管道 类 
型 ， 并 描述 如 何 从 数据 完整 性 的 角度 来 设计 。 


7.1 构建 数据 管道 
在 讨论 具体 的 示例 之 前 ， 有 必要 将 数据 管道 设计 分 为 两 类 :预定 义 路 径 和 发 现 路 径 。 


预定 义 路 径 是 指 在 实现 数据 管道 之 前 的 分 析 和 设计 阶段 得 到 的 数据 管道 。 通 常 ， 预 定义 路 
径 更 容易 监控 和 审计 ， 因 为 数据 的 处 理 和 建 模 是 在 管道 实现 开始 之 前 定义 的 。 这 样 就 可 以 
规划 数据 在 流 经 管道 时 需要 进行 哪些 监控 。 


与 之 相对 的 是 发 现 路 径 ， 它 可 以 被 看 作 一 种 临时 或 自助 的 数据 处 理 方法 。 任 何人 都 可 以 在 
原始 数据 或 选 定 的 派生 数据 集 上 构建 任意 的 路 径 ， 然 后 利用 软件 来 追踪 谱系 ， 这 样 就 可 以 
在 事后 通过 审计 来 确定 数据 的 有 效 性 。 这 种 方法 的 问题 在 于 ， 它 很 快 就 会 变 得 混乱 不 堪 。 
如 果 业 务 中 包含 了 大 量 的 审计 ， 建 议 谨慎 使 用 这 种 方法 。 


作为 一 个 真实 示例 ， 可 以 考虑 使 用 Apache Hive 在 Hadoop 存储 的 数据 之 上 创建 数据 仓库 。 
有 了 Hive， 数 据 工 程 师 或 管理 员 就 可 以 基于 源 数据 创建 数据 库 ， 然 后 将 这 些 数据 库 提 供给 
用 户 做 数据 分 析 。 接 着 ， 用 户 基于 这 些 数据 库 创 建 自己 的 数据 集 或 派生 表 。 这 样 做 的 优势 
是 用 户 可 以 灵活 地 使 用 数据 ,但 也 会 导致 数据 源 和 价值 未 知 的 表 和 数据 集 的 数量 激增 。 


图 7-1 提供 了 预定 义 选项 和 发 现 选项 的 直观 描述 ， 并 显示 了 它们 在 生产 力 与 可 管理 ' 
中 所 处 的 位 置 。 


我 们 很 可 能 对 处 于 中 间 位 置 的 路 径 更 感 兴趣 。 这 需要 一 些 能 够 灵活 变化 的 预定 义 路 径 ， 并 
创建 沙 盒 ， 让 其 中 的 数据 可 以 自由 移动 。 实 现 这 一 目的 的 诀窍 是 使 用 验证 和 接口 点 。 第 4 
章 讨 论 了 接口 ， 稍 后 将 讨论 更 多 有 关 验 证 的 内 容 。 现 在 ， 先 来 深入 研究 预定 义 路 径 和 发 现 
路 径 。 
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7-1: 预定 义 路 径 与 发 现 路 径 


预定 义 数据 管道 














预定 义 管道 需要 提供 访问 点 ， 通 过 这 些 访问 点 将 数据 移动 到 系统 中 ， 然 后 再 使 用 正确 的 格 
式 将 它们 推送 给 正确 的 目的 地 。 预 定义 管道 在 现实 世界 的 示例 ， 可 以 考虑 一 下 家 中 的 断路 











器 和 电路 ， 如 图 7-2 所 示 。 








请 注意 ， 断 路 器 并 不 关心 电源 的 细节 ， 它 只 关心 电源 是 否 符合 特定 的 标准 。 然 后 ， 断 路 喜 





和 电线 将 电 输送 到 插座 。 最 后 ， 插 座 上 的 设备 按照 预期 的 标准 消耗 电力 。 






































图 7-2: 家 庭 电 路 示例 
同样 ， 预 定义 管道 需要 具有 以 下 属性 : 


定义 良好 的 输入 接口 和 输出 接口 ， 
出 问题 时 的 故障 转移 机 制 ; 
保证 级 别 。 














接 下 来 看 两 个 预定 义 管道 的 实际 实现 ， 它 们 能 够 确保 数据 完整 性 : 一 个 用 于 处 理 
据 ， 另 一 个 用 于 处 理 流 式 数 据 。 























E 批 次 数 
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1. 批 次 管道 
典型 的 预定 义 批 次 管道 如 图 7-3 所 示 。 请 注意 ， 这 个 示例 假设 了 一 个 基于 Apache Hadoop 
的 环境 。 





























7-3: 批 次 管道 
下 面 一 步 步 解释 。 


(1) 来 自 源 系统 的 数据 被 移入 数据 管道 。 在 这 一 步 ， 数 据 只 是 被 传输 到 临时 存储 数组 。 在 
某 些 情 况 下 ， 数 据 可 以 直接 进入 长 期 存储 系统 〈 在 本 例 中 为 HDFS) ， 但 需要 注意 的 是 ， 
它们 仍然 是 存储 在 单一 系统 中 的 原始 数据 。 

(2) 如 果 数 据 还 未 进入 长 期 存储 〈 在 本 例 中 为 HDFS)， 那 么 就 在 这 一 步 将 其 移 到 长 期 存 
储 中 。 此 时 ， 文 件 仍然 与 源 文件 100% 相 同 ， 唯 一 的 变化 是 这 里 数据 被 当 作 数据 块 在 
HDFS 市 点 之 间 复 制 。 

(3) 在 这 个 阶段 ， 使 用 MapReduce 或 Spark 等 处 理 框架 为 数据 添加 结构 ， 并 将 数据 保存 成 
Apache Hive 的 优化 格式 (如 Parquet 或 ORC)。 这 可 能 只 是 格式 更 改 ， 但 根据 输入 数据 
的 不 同 ， 也 有 可 能 会 进行 过 滤 。 如 果 没 有 进行 过 滤 ， 那 么 它们 仍然 是 完全 保 真 的 数据 。 
但 是 ， 如 果 进 行 了 过 滤 ， 那 么 结果 数据 将 成 为 源 数 据 的 派生 数据 子 集 。 

(4) 数据 被 移动 到 关系 数据 存储 中 。 请 注意 ， 在 之 前 的 步骤 中 已 经 为 数据 添加 了 结构 ， 
此 除了 格式 更 改 和 可 能 的 过 滤 之 外 ， 不 应 该 有 其 他 更 改 。 

(5) 将 数据 从 HDFS 批量 加 载 到 Elasticsearch 中 。 同 样 ， 这 里 不 应 该 有 数据 更 改 ， 只 有 格式 
更 改 和 可 能 的 过 滤 。 

(6) 针对 结构 化 数据 运行 会 话 作 业 。 这 个 步骤 的 结果 数据 不 再 是 完全 保 真 的 ， 而 是 源 数据 
的 派生 数据 集 。 

(7) 将 会 话 数据 从 HDFS 批量 加 载 到 HBase 中 。 这 一 步 不 应 该 出 现任 何 数据 更 改 ， 只 有 格 
式 更 改 和 可 能 进行 的 过 滤 。 但 是 ， 由 于 它 所 读 取 的 数据 不 再 是 完全 保 真 的 ， 因 此 HBase 
中 的 数据 也 是 派生 数据 。 


在 图 7-3 的 基础 上 加 入 数据 在 管道 中 的 移动 状态 ， 如 图 7-4 所 示 。 
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磁盘 阵列 HDFS 原 格式 
(全 保 真 ) (全 保 真 ) 


结构 化 过 滤 Elasticsearch 
全 保 真 表 (过 滤 ) 


HDFS 处 理 过 后 
(过 滤 ) 








图 7-4: 批 次 管道 的 细节 


2. 流 式 管道 


预定 义 流 式 管道 可 能 如 图 7-5 所 示 。 请 注意 ， 这 个 示例 增加 了 Apache Kafka。 




















图 7-5: 流 式 管道 





这 里 有 3 个 独立 的 存储 系统 ， 每 个 存储 系统 以 相同 的 顺序 获取 相同 的 数据 (对 应 Kafka 分 
区 )。 这 意味 着 数据 在 整个 摄取 路 径 中 仍然 保持 了 完全 保 真 度 。 














与 批 次 架构 一 样 ， 我 们 希望 在 数据 进入 存储 之 前 对 数据 进行 增强 和 过 滤 。 对 于 这 种 情况 ， 
有 儿 种 选项 。 第 一 个 选项 是 在 摄取 层 进行 增强 和 过 滤 ， 如 图 7-6 所 示 。 






































图 7-6: 具有 过 滤 和 增强 功能 的 流 式 管道 
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也 可 以 添加 额外 的 Kafka 层 ， 如 图 7-7 所 示 。 这 样 做 的 优点 如 下 。 








口 分 区 

以 特定 的 方式 对 数据 进行 重新 分 区 ， 从 而 优化 存储 和 处 理 。 
口 路 由 

具有 高 级 的 路 由 逻辑 ， 如 果 将 它们 包含 在 摄取 层 中 ， 效 率 会 很 低 。 
口 变更 

能 够 对 多 个 数据 集 进 行 数据 增强 ， 这 些 操作 最 好 在 摄取 之 前 进行 。 

























Kafka 
(派生 和 
过 滤 ) 






HDFS 
(派生 和 过 滤 ) 
















Kafka 
(派生 和 
过 滤 ) 


摄取 层 
(派生 和 
过 滤 ) 











RDBMS 
(派生 和 过 滤 ) 










Kafka 
(派生 和 
过 滤 ) 






Elasticsearch 


(派生 和 过 滤 ) 
















7-7: 包含 Kafka 的 流 式 管道 


需要 避免 为 多 个 目的 地 提供 单个 摄取 服务 ， 如 图 7-8 所 示 。 



























Elasticsearch 


(全 保 真 











图 7-8， 具有 多 个 目的 地 的 流 式 管道 
这 样 做 的 缺点 如 下 。 
口 单 体 








这 些 存储 系统 可 能 有 自己 的 依赖 项 和 库 。 因 此 ， 通 过 一 个 进程 向 所 有 目的 地 写 和 数据 将 














增加 出 现 库 冲 突 的 概率 。 











口 复杂 性 

实现 越 是 简单 、 越 是 集中 ， 测 试 和 维护 就 越 容易 。 记 住 ， 越 简单 越 好 。 
口 性 能 依赖 

摄取 性 能 会 受到 最 慢 的 存储 系统 的 约束 。 

口 系统 性 故障 风险 

存储 系统 故障 意味 着 所 有 数据 都 将 停止 流入 其 中 的 任何 一 个 系统 。 


口 不 同 的 批 次 大 小 
不 同 的 存储 系统 按照 不 同 的 写 人 方式 进行 优化 。HDFS 和 Amazon S3 需要 较 大 的 批 次 ， 
而 其 他 类 型 的 系统 在 采用 较 小 批 次 时 表现 更 好 。 


























口 难以 回 滚 
假设 存储 系统 出 现 问 题 ， 需 要 从 一 个 检查 点 恢复 。 如 果 这 个 时 候 向 所 有 系统 写 入 数据 ， 
那么 恢复 过 程 将 会 变 得 非常 复杂 。 


口 版 本 升级 
升级 到 一 个 存储 系统 可 能 需要 重新 启动 所 有 摄取 节点 。 
人 AL hp 1 
7.2 ”验证 数据 管道 


如 有 果 仔细 阅读， 你 会 注意 到 ，7.1 节 描 述 的 所 有 路 径 都 涉及 某 种 转换 。 





口 摄取 
将 原始 格式 转换 为 目标 系统 使 用 的 格式 。 
口 增强 


以 某 种 方式 转换 或 添加 数据 。 


但 是 ， 在 这 些 步 骤 中 发 生 的 转换 可 能 会 引入 一 些 错误 ， 破 坏 数 据 完整 性 。 那 么 ， 应 该 如 何 
通过 测试 来 确认 可 以 信任 系统 呢 ? 来 看 看 4 个 选项 : 行 数 、 唯 一 计数 、 全 字 节 比较 以 及 校 
验 和 (checksum) 比较 。 





7.2.1 行 数 

计算 行 数 可 能 是 最 快 也 是 最 简单 的 确认 方法 。 它 只 需要 在 写 人 结果 数据 时 对 数据 行进 行 简 
单 的 统计 ， 确 认 结果 记录 的 数量 与 预期 的 数量 相 匹 配 。 问 题 是 它 只 在 一 个 维度 上 确定 保 真 
度 ， 它 验证 了 输出 行 数 是 否 与 预期 的 行 数 相 匹配 ， 但 并 没有 验证 记录 中 的 内 容 。 有 时 候 行 
数 是 匹配 的 ， 但 由 于 转换 失败 ， 导 致 其 中 一 列 为 空 ， 或 者 一 个 数 被 四 铭 五 人 ， 丢 失 了 精 
度 。 因 此 ， 可 以 将 这 种 方法 视 为 一 种 初 查 ， 不 能 只 依赖 它 来 验证 数据 完整 性 。 
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7.2.2 唯一 计数 
唯一 计数 是 指 计算 每 一 列 不 同 单元 格 的 值 ， 可 以 把 它 想 象 成 表 中 每 一 列 的 单词 计数 。 因 
此 ， 如 果 有 一 个 类 似 于 下 面 这 样 的 表 ， 那 么 第 2 列 的 唯一 计数 将 是 Dog:3 和 Cat4。 











1 Dog Foo 
2 Dog Foo 
3 Cat Foo 
4 Dog Foo 
5 Cat Foo 
6 Cat Foo 
7 Cat Foo 








这 种 方法 主要 有 3 个 问题 。 首 先 ， 它 无 法 验证 唯一 值 的 顺序 。 因 此 ， 如 有 果 对 上 面 的 表 和 下 
下 的 表 执 行 唯 一 计数 查询 ， 结 果 是 匹配 的 ， 但 并 设 有 保持 保 真 度 ， 因 为 第 3 行 的 Dog 和 第 
4 行 的 Cat 掉 换 了 顺序 。 









































1 Dog Foo 
2 Dog Foo 
3 Dog Foo 
4 Cat Foo 
5 Cat Foo 
6 Cat Foo 
7 Cat Foo 














其 次 ， 它 容易 受到 高 基数 列 的 影响 。 高 基数 列 是 指 包含 大 量 唯 一 值 的 列 。 在 前 面 的 示例 
中 ， 第 一 列 是 非 重复 ID。 这 在 计算 大 型 数据 集 时 成 本 非常 高 。 


最 后 ， 与 检查 校 验 和 相 比 ， 唯 一 计数 的 成 本 总 体 上 会 更 高 。 而 且 ， 校 验 和 提供 了 更 高 的 保 























虽然 唯一 计数 不 是 检查 完全 保 真 度 的 理想 选择 ， 但 作为 初始 的 完整 性 检查 还 是 很 有 用 的 。 





7.2.3 全 字 节 比较 
对 数据 进行 全 字 节 比较 的 成 本 最 高 ， 步 又 如 图 7-9 所 示 。 


(1) 从 数据 源 读 取 数 据 ， 并 保存 为 原始 形式 ， 将 其 传递 给 执行 数据 转换 或 重新 格式 化 的 
服务 。 

(2) 转换 数据 并 写 入 目标 系统 。 

(3) 处 于 转换 状态 的 数据 位 于 目标 系统 中 ， 就 像 在 正常 的 摄取 路 径 中 一 样 。 

(4) 从 目标 系统 提取 数据 并 再 次 转换 回 原始 状态 。 

(5) 将 初始 的 原始 数据 和 还 原 的 原始 数据 保存 在 同一 个 存储 系统 中 。 

(6) 使 用 Apache Spark 等 处 理工 具 执 行 全 字 节 比较 。 

(7) 如 果 不 存 在 差异 ， 说 明 数 据 管道 保持 了 数据 完整 性 。 
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3 
转换 后 的 状态 


反 向 转换 


5 
反 向 转换 后 的 







7 
如 果 无 差异 可 
确认 保 真 度 

图 7-9: 通过 全 字 节 比较 进行 数据 验证 


重复 这 个 操作 ， 直 到 相信 自己 的 逻辑 是 正确 的 。 为 了 确保 持续 的 数据 验证 ， 可 以 将 这 个 过 
程 自动 化 ， 并 作为 处 理 流 的 一 部 分 一 直 运 行 下 去 。 这 将 耗费 更 多 的 资源 ， 但 如 果 愿 意 投 入 
所 需 的 费用 和 资源 ， 那 么 就 可 以 在 进行 常规 数据 摄取 处 理 的 同时 大 规模 运行 它 。 


7.2.4 ” 校 验 和 比较 
如 果 一 直 进 行 全 字 节 比较 ， 成 本 可 能 会 非常 高 。 但 即使 如 此 ， 我 们 仍然 希望 保证 数据 完整 
性 。 一 种 相对 简单 的 方法 是 使 用 数据 值 的 校 验 和 。 应 该 怎么 做 呢 ? 


举 一 个 简单 的 示例 ， 假 设 有 两 张 表 ， 一 张 在 关系 数据 库 中 ， 另 一 张 在 Amazon S3 的 Hive 
中 。 表 结构 如 下 所 示 : 









































CREATE TABLE FOO ( 
STR_COL STRING, 
INT_COL INT, 
DOUBLE_COL DOUBLE) 





然后 ， 可 以 在 两 张 表 上 运行 如 下 所 示 的 SQL 语句 ， 确 认 各 列 的 值 是 相等 的 : 





SELECT SUMCHASH(STR_COL)), SUM(INT_COL), SUM(DOUBLE_COL) FROM FOO 








你 可 能 会 说 ， 如 果真 实 值 不 一 样 ， 那 么 这 个 查询 仍然 可 能 产生 匹配 的 值 。 这 是 有 可 能 的 ， 
例如 下 面 的 记录 : 











STR_COL INT_COL DOUBLE_COL 


A 2 1 
B 3 2 
C 1 3 
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如 果 担 心 出 现 这 种 问题 ， 可 以 把 SQL 重 写 为 下 面 这 样 : 

SELECT SUM(HASH(CONCAT(STR_COL, CONCAT(INT_COL, DOUBLE COL))))) FROM Fo0 
这 样 一 来 ， 校 验 和 针对 的 是 整 行 记录 串联 起 来 的 值 ， 可 以 更 好 地 保证 数据 的 有 效 性 。 但 是 
在 某 些 情况 下 ， 即 使 SQL 返回 的 值 是 匹配 的 ， 也 并 不 代表 实际 值 是 匹配 的 。 这 可 能 是 因为 
散 列 函 数 的 实现 不 一 样 。 如 果 存 在 这 种 情况 ， 那 么 可 以 尝试 使 用 自 定义 散 列 函数 。 
另外 ， 尽 管 可 能 性 很 小 ， 但 是 两 个 数据 库 的 散 列 函 数 仍 然 有 可 能 为 相同 的 值 返 回 不 同 的 散 
列 值 。 这 主要 是 因为 每 个 系统 采用 了 不 同 的 散 列 实现 。 如 果 存 在 这 种 情况 ， 那 么 可 以 使 用 
用 户 自 定义 函数 ， 从 而 在 两 个 系统 上 执行 相同 的 散 列 逻 辑 。 

















7.3 小 结 


数据 完整 性 是 设计 和 实现 数据 系统 的 关键 因素 。 本 章 讨 论 了 数据 完整 性 的 含义 ， 并 举例 说 
明了 如 何 保持 数据 完整 性 和 追踪 流 经 系统 的 数据 的 谱系 。 


本 章 还 描述 了 完全 保 真 度 与 派生 的 含义 ， 然 后 介绍 了 两 种 构建 数据 管道 的 方法 ， 基 于 需求 
来 确保 数据 完整 性 。 


。 预定 义 管道 一 一 可 以 预定 义 数据 在 数据 管道 中 的 移动 路 径 、 处 理 方式 ， 等 等 。 
。 数据 管道 的 事后 发 现 一 一 可 以 在 数据 通过 系统 后 定义 和 验证 数据 谱系 。 


最 后 ， 本 章 讨 论 了 确保 数据 保 真 度 的 方法 ， 而 不 管 数 据 是 如 何在 系统 中 移动 的 。 
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数据 处 理 


前 文 已 经 讨论 了 构建 数据 管道 的 一 些 考 虑 因素 ， 本 书 的 最 后 一 草 将 讨论 如 何 处 理 和 分 析 通 
过 这 些 数据 管道 收集 的 数据 。 围 绕 收 集 、 存 储 和 管理 数据 的 考虑 因素 为 各 种 数据 架构 提供 























了 基础 ， 但 只 有 处 理 这 些 数据 ， 才 能 从 数据 中 获得 价值 。 




















与 分 布 式 数据 架构 中 的 其 他 组 件 一 样 ， 在 处 理 数 据 方面 所 面临 的 挑战 是 可 用 的 选项 太 多 ， 
其 中 的 很 多 选项 具有 不 同 的 设计 目标 ， 并 且 针对 的 是 不 同 的 用 例 。 本 章 将 像 第 5 章 一 样 提 























供 一 份 区 分 处 理 系统 的 标准 清单 ， 从 而 形成 处 理 系统 的 评估 框架 。 























处 理 引 擎 的 选择 将 取决 于 用 例 、 经 验 、 团 队 知识 、 目 标 用 户 、SLA 以 及 架构 组 件 等 因 


























素 o 


希望 通过 本 章 的 内 容 能 够 让 你 了 解 不 同 工 具 的 适用 场景 ， 从 而 在 规划 项 目 时 做 出 更 明智 的 


决策 。 


8.1 处 理 引 擎 的 属性 
本 章 将 通过 以 下 属性 来 区 分 各 种 处 理 引 擎 。 


口 有 向 无 环 图 管理 
引擎 如 何 处 理 执行 计划 ? 























口 计算 隔离 
系统 如 何 分 配 资源 来 处 理 多 个 用 户 和 作业 ? 
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口 性 能 
在 不 同类 型 的 用 例 中 ， 作 业 的 执行 速度 有 多 快 ? 虽 然 性 能 是 一 个 重要 的 考虑 因素 ,但 有 
时 候 也 需要 做 出 权衡 ， 例 如 容错 。 


口 容错 
引擎 是 如 何 对 故障 做 出 响应 的 ?作业 出 现 故 障 时 ， 不 同 处 理 引擎 的 行为 会 有 所 不 同 。 在 
根据 具体 用 例 选 择 合适 的 引擎 时 ， 这 些 差异 就 显得 非常 重要 。 














口 交互 模型 
用 户 如 何 与 系统 交互 ? 他 们 是 否 需要 使 用 Java 等 编程 语言 来 编写 代码 ， 或 者 通过 SQL 
这 样 的 声明 式 模 型 来 与 系统 交互 ? 








口 批 处 理 或 流 处 理 
引擎 的 设计 初 囊 是 处 理 大 量 记录 还 是 处 理 单个 事件 或 一 小 组 事件 ? 


接 下 来 ， 我 们 将 深入 探究 这 些 问 题 ， 并 讨论 不 同 处 理 引擎 的 适用 范围 。 先 从 DAG 管理 开始 。 





























8.1.1 DAG 管 理 
虽然 有 向 无 环 图 (directed acyclic graph，DAG) 这 个 术语 听 起 来 很 中 人， 但 实际 上 它 是 一 
个 非常 简单 的 概念 。DAG 是 指 节点 之 间 的 边 不 存在 回路 的 图 。 换 句 话说 ， 图 的 节点 按 顺 
序 连接 ， 每 个 节点 都 指向 序列 中 的 下 一 个 节点 。 当 我 们 讨论 图 时 ， 指 的 不 是 可 视 化 数值 的 
图 ， 而 是 由 节点 和 边 组 成 的 数学 意义 上 的 图 。 


DAG 类 似 于 查询 计划 ， 如 关系 数据 库 在 编译 SQL 查询 时 创建 的 查询 计划 。 分 布 式 引擎 为 
实现 预期 目标 所 做 的 工作 可 以 通过 DAG 和 查询 计划 来 表达 。 






































通常 ， 分 布 式 系统 提供 的 DAG 管理 可 以 通过 以 下 属性 来 区 分 : 








。 DAG 管理 是 外 部 的 还 是 引擎 内 置 的 ， 
。 DAG 管理 是 由 单个 驱动 程序 还 是 由 多 个 驱动 程序 驱动 的 。 





让 我 们 更 详细 地 看 一 下 这 些 考 虑 因素 。 


1. 外 部 DAG 管理 

这 是 最 简单 的 实现 ， 因 为 引擎 不 需要 知道 任何 与 DAG 有 关 的 信息 。 大 多 数 现代 处 理 引 擎 
不 再 使 用 这 种 模型 ， 但 在 MapReduce 中 仍然 主要 使 用 它 。 虽 然 MapReduce 仍然 是 Apache 
Hadoop 等 项 目的 核心 部 分 ， 但 已 经 逐渐 被 Apache Spark 这 样 更 现代 、 更 高 效 的 引擎 所 取 
代 。 不 过 ， 由 于 MapReduce 曾经 是 实现 分 布 式 处 理应 用 程序 的 主要 手段 ， 因 此 很 有 必要 从 
历史 角度 对 它 进 行 一 番 概 述 ， 并 了 解 后 续 系 统 的 谱系 。 




















了 




















接 下 来 快速 探索 一 下 MapReduce。 如 果 你 已 经 在 分 布 式 数据 领域 工作 了 很 多 年 ， 那 么 可 以 
跳 过 下 面 的 内 容 。 

















MapReduce 


通常 ，MapReduce 由 不 同 的 处 理 阶 段 组 成 ， 这 些 阶 段 被 称 为 mapper 和 reducer。 
mapper 从 数据 源 读 取 数 据 ， 对 数据 进行 转换 、 排 序 ， 然 后 通过 一 个 叫 作 shuffle ( 混 
洗 ) 的 过 程 对 数据 进行 分 区 。shuffle 是 分 布 式 数据 处 理 的 基础 部 分 ， 它 为 连接 、 排 序 
和 分 组 等 操作 提供 了 基础 。 


reducer 位 于 shuffle 阶段 的 另 一 闯 ， 用 于 处 理 mapper 生成 的 数据 分 区 。reducer 在 将 数 
据 写 入 存储 系统 之 前 会 对 分 区 数据 执行 转换 操作 。 

图 8-1 描述 了 这 个 处 理 流 程 : 数据 输入 到 mapper 中 ， 经 过 处 理 、 排 序 和 混 洗 ， 进 入 
reducer 处 理 阶段 ， 最 后 写 入 存储 系统 。 





Mappers 


Ea 














8-1: MapReduce 处 理 流程 


虽然 MapReduce 为 分 布 式 数据 处 理 提供 了 一 种 稳定 可 靠 的 工具 ， 但 它 本 身 的 缺点 促 
使 了 新 引 学 的 出 现 。 它 们 逐渐 取代 了 MapReduce 的 位 置 ， 成 为 首选 工具 。 以 下 是 
MapReduce 中 最 突出 的 缺点 。 


。 缺乏 DAG 管理 
如 图 8-1 所 示 ，MapReduce 作业 的 处 理 顺序 是 一 个 reduce 作业 跟着 一 个 map 作业 
(但 在 某 些 情况 下 ， 为 了 完成 某 些 任务 可 能 会 忽略 map 阶段 或 reduce 阶段 )， 只 能 
进行 单 次 排序 和 混 洗 ， 然 后 将 数据 写 回 磁盘 。 如 果 要 做 一 些 更 复杂 的 事情 ， 比 如 进 
行 两 次 连接 ， 就 需要 实现 多 个 MapReduce 作业 ， 并 逐个 运行 它们 。 

。 LO 开销 的 限制 
MapReduce 刚 发 布 的 时 候 ， 内 存 还 很 贵 ， 所 以 它 主 要 使 用 磁盘 。MapReduce 作业 需 
要 在 不 同 的 处 理 阶段 从 磁盘 读 取 和 写 入 大 量 的 数据 。 这 对 作业 的 性 能 有 很 大 影响 ， 
并 最 终 导 致 MapReduce 变 慢 。 

。 启动 时 间 长 
mapper 和 reducer 可 能 需要 很 多 秒 才能 启动 完毕 ， 在 完成 任务 后 ， 进 程 将 被 终止 。 
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。 实现 作业 有 难度 
实现 MapReduce 作业 的 主要 方式 是 Java 应 用 程序 ， 所 以 这 对 非 程序 员 来 说 是 一 
个 障碍 。 此 外 ， 如 何 将 问题 映射 为 MapReduce 作业 也 很 具 挑 战 性 。 虽 然 抽 和 象 为 
MapReduce 提供 了 更 直观 的 接口 ， 但 一 般 来 说 ， 使 用 MapReduce 作为 处 理 引 党 要 
求 开 发 人 员 具 备 丰 富 的 知识 和 经 验 。 

。 重量 级 部 署 模型 
在 部 署 MapReduce 作业 时 ， 通 常 需 要 将 大 型 的 Java Archive (JAR) 文件 传输 到 集 
群 节点 上 。 


虽然 未 来 可 能 不 会 看 到 MapReduce 被 用 于 实现 新 的 处 理 作 业 ， 但 在 分 布 式 计算 中 ， 
mapper、shuffle 和 reducer 的 模式 仍然 会 反复 出 现 。 














MapReduce 曾经 非常 强大 ， 因 为 它 是 当时 为 数 不 多 可 用 的 分 布 式 执行 系统 。 但 由 于 上 述 原 
因 ， 它 用 起 来 十 分 麻烦 。 这 比试 图 在 传统 关系 数据 库 上 实现 SQL 要 复杂 得 多 。 


当时 ，Apache Hive 是 针对 这 些 问题 的 一 个 解决 方案 ， 它 提供 了 MapReduce 的 SQL 抽象 ， 
并 支持 基于 MapReduce 创建 DAG。 虽 然 Hive 很 慢 ， 而 且 不 适用 于 交互 式 查 询 ， 但 它 仍然 
广泛 流行 ， 因 为 它 i 上 SQL 开发 人 员 也 能 利用 MapReduce 的 强大 功能 。 


2. 内 部 DAG 管理 
MapReduce 下 逐渐 被 现代 处 理 引 敬 所 取代 ， 如 Apache Spark 和 Apache Flink。 这 些 工 具 都 
有 一 个 支持 创建 DAG 的 执行 引擎 。 这 种 对 DAG 的 支持 有 助 于 高 效 实现 复杂 的 处 理 作业 。 
































甚至 是 最 初 作为 MapReduce 抽象 的 Hive 也 支持 能 够 创建 更 复杂 的 DAG 的 引擎 ， 例 如 
Apache Tez， 它 提供 了 一 个 支持 创建 DAG 的 框架 。 

















8.1.2 ”计算 隔离 
下 一 个 类 别 标 准 是 系统 如 何 管理 计算 隔离 ， 实 际 上 就 是 指 系 统 如 何 管理 执行 任务 所 需 的 资 
源 。 可 以 将 其 分 为 以 下 儿 种 隔离 级 别 。 



































口 节点 级 别 
个 节点 只 运行 一 个 作业 。 





口 容器 级 别 
个 容器 只 运行 一 个 作业 ， 但 一 个 市 点 可 以 有 多 个 容器 。 














口 任务 级 别 
由 执行 引擎 管理 进程 内 的 多 个 任务 。 


不 同 的 系统 支持 不 同 的 隔离 级 别 ， 接 下 来 逐一 讨论 它们 ， 并 在 不 同 的 用 例 中 使 用 它们 。 
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1. 节点 级 别 的 隔离 
在 节点 级 别 ， 一 个 节点 只 能 运行 一 个 与 作业 相关 的 任务 。 随 着 Amazon Elastic MapReduce 
(EMR) 等 云 产品 的 兴起 ， 节 点 级 别 的 隔离 变 得 越 来 越 流行 。 在 这 个 模型 中 ， 用 户 将 启动 
一 个 EMR 集群 来 执行 作业 ， 然 后 在 作业 完成 时 终止 集群 。 


这 样 做 的 优点 是 不 需要 担心 其 他 作业 会 争夺 资源 。 但 一 个 缺点 是 需要 额外 的 时 间 来 启动 集 
群 实例 。 另 一 个 潜在 的 缺点 是 低 资源 利用 率 ， 因 为 在 执行 作业 时 ， 并 非 节点 的 所 有 资源 都 
能 被 100% 利用 。 


2. 容器 级 别 的 隔离 

容器 级 别 的 隔离 具有 两 个 维度 : 一 个 是 在 集群 资源 管理 器 和 作业 调度 程序 中 (如 YARN 和 
Mesos) 运行 容器 ， 另 一 个 是 使 用 Docker 和 Kubernetes 等 解决 方案 ， 它 们 提供 了 虚拟 化 服 
务 ， 允 许 在 单 台 服务 器 上 运行 多 个 容器 。 


尽管 Docker 和 Kubernetes 等 容器 技术 是 部 署 架构 中 的 集成 组 件 ， 但 它们 不 会 影响 你 对 处 
理 引 警 的 选择 ， 因 为 这 些 技术 与 部 署 在 7 


不 过 ， 处 理 引 警 的 选择 可 能 与 集群 资源 管理 器 有 着 紧密 的 联系 。 例 如 ， 为 了 能 够 管理 资 
源 ，Spark 和 MapReduce 等 引擎 通常 会 在 YARN 或 Mesos 等 系统 中 运行 。 在 YARN 中 运 
行 Spark 时 ，YARN 可 以 控制 将 任务 分 配给 可 用 的 容器 。 


3. 任务 级 别 的 隔离 

很 多 现代 处 理 引 擎 (例如 Apache Impala、Apache Presto a Apache Spark) 支持 任务 级 别 
的 隔离 ， 可 以 在 单个 系统 进程 中 运行 不 同 的 工作 负载 。 这 意味 着 进程 需要 在 任务 之 间 切 
换 ， 并 且 可 能 会 产生 资源 冲突 。 但 这 样 可 以 提高 作业 效率 ， 例 如 在 执行 任务 时 不 需要 启动 
进程 。 


4. 隐藏 的 隔离 
还 需要 指出 的 是 ， 在 某 些 情况 下 ， 隔 离 被 隐藏 起 来 了 。 在 使 用 某 些 基于 云 的 工具 时 就 是 这 
样 ， 如 Amazon Athena 和 Amazon Lambda。 这 也 被 称 为 无 服务 器 计算 。 


5. 隔离 级 别 的 考虑 因素 
选择 隔离 类 型 取决 于 如 下 因素 。 


口 作业 数量 与 预算 
如 有 果 公 司 有 充足 的 资金 ， 并 且 可 以 接受 节点 级 别 的 隔离 ， 那 么 这 通常 最 容易 做 出 选择 。 
口 有 限 的 支出 


如 果 预 算 有 限 ， 可 能 需要 采用 多 租户 架构 ， 也 就 是 容器 级 别 的 隔离 。 例 如 ， 使 用 YARN 
运行 多 个 作业 的 Hadoop 集群 。 
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口 严格 的 延迟 需求 
如 有 果 要 求 低 延 迟 ， 那 么 支持 任务 级 别 隔离 的 系统 可 能 是 最 佳 选择 。 








口 云 部 署 
如 果 系 统 部 署 在 云端 ， 那 么 在 使 用 特定 的 云 服 务 时 ， 它 们 可 能 已 经 为 你 选择 好 了 隔离 
级 别 。 





8.1.3 性 能 

尽管 引擎 在 执行 作业 时 的 性 能 非常 重要 ， 但 我 们 不 能 只 看 那些 能 够 执行 特定 工作 负载 的 引 
擎 ， 虽 然 它们 的 速度 很 快 。 更 重要 的 是 了 解 工具 在 执行 用 例 时 具备 怎样 的 性 能 。 在 某 些 情 
况 下 ， 工 具 执行 查询 的 速度 可 能 很 快 ， 但 涉及 多 个 连接 的 复杂 查询 可 能 会 存在 性 能 问题 。 
来 看 看 下 面 这 些 工具 的 属性 。 








口 Presto 
Presto 提供 了 一 个 速度 很 快 的 执行 引擎 ， 但 如 果 查 询 超过 了 内 存 限 制 就 会 出 现 问题 。 
DQ Spark 


Spark 很 快 ， 但 目前 不 支持 在 多 租户 环境 中 使 用 外 部 工具 〈 如 商业 智能 工具 )。 





口 带 有 Tez 引 掌 的 Hive 
带 有 Tez 引擎 的 Hive 速度 很 快 ， 但 仍然 需要 处 理 Hive 架构 中 的 其 他 组 件 ， 如 Hive 


Metastore。 


























此 外 ， 对 工具 的 选择 可 能 会 受到 某 些 因素 的 驱动 ， 比 如 决定 将 作业 迁移 出 已 有 的 系统 。 你 
可 能 在 Teradata 系统 中 部 署 了 现 有 的 数据 模型 和 查询 。 有 很 多 Teradata 应 用 程序 使 用 了 基 
于 索引 列 的 本 地 连接 ， 可 以 基于 单个 连接 键 快速 连接 多 个 表 。 如 果 这 个 数据 模型 已 经 使 用 
了 多 年 ， 并 且 基 于 它 构建 了 数 千 个 作业 ， 那 么 就 很 难 将 它 迁 移 到 不 提供 类 似 优 化 的 执行 引 
擎 。 在 这 种 情况 下 ，Hive 的 分 桶 排序 连接 可 以 作为 本 地 索引 的 替代 方案 ， 而 其 他 引擎 可 能 
无 法 支持 这 种 模型 。 重 要 的 是 ， 你 对 工具 的 选择 不 仅 受到 原始 性 能 的 影响 ， 还 取决 于 实际 
用 例 ， 所 以 最 好 先 根据 特定 工作 负载 运行 测试 。 























8.1.4 容错 
通常 ， 处 理 框架 可 以 分 为 以 下 3 种 容错 级 别 : 


。 和 零 容 错 ; 
。 执行 器 恢复 ， 








接 下 来 详细 介绍 每 一 种 级 别 。 在 讨论 分 布 式 系统 的 容错 时 ， 会 反复 提 及 如 何在 可 恢复 性 和 
性 能 之 间 做 出 权衡 。 


1. 零 容错 

要 讨论 的 第 一 个 级 别 是 零 容 错 ， 换 句 话 说， 就 是 在 作业 发 生 故 障 时 不 提供 恢复 选项 。 这 听 
起 来 似乎 不 太 好 。 但 实际 上 ， 如 果 优 先 考虑 作业 的 性 能 ， 那 就 可 以 这 样 做 。 没 有 恢复 方面 
的 开销 意味 着 引擎 可 以 专注 于 提升 查询 的 执行 速度 ， 这 对 临时 查询 和 分 析 查 询 来 说 是 有 利 
的 ， 因 为 这 些 查询 通常 会 在 执行 完成 后 快速 向 用 户 返 回 结果 。 即 使 发 生 了 故障 ， 这 些 引 警 
通常 也 能 够 足够 快 地 重新 局 动 查询 ， 并 快速 返回 结果 。 














Dm 


晶 是 ， 这 些 工具 不 太 适 合 长 时 间 运 行 的 任务 ， 例 如 ETL 作业 ， 不 过 这 些 工作 负载 类 型 并 不 
是 这 些 引 擎 的 目标 。 

















Impala 和 Presto 就 属于 这 类 工具 。 这 些 引擎 则 在 有 效 地 提供 分 析 查 询 ， 非 常 适 合 与 商业 智 
能 和 分 析 工 具 集 成 在 一 起 。Impala 和 Presto 的 典型 查询 可 以 在 几 秒 内 完成 。 在 这 个 时 间 范 
围 内 发 生 节 点 故障 的 概率 非常 低 。 即 使 发 生 节 点 故障 ， 重 新 处 理 查 询 的 时 间 也 很 得， 不 会 
有 什么 问题 。 


不 过 需要 注意 的 是 ， 容 错 引擎 (如 Spark SQL) 的 性 能 已 经 有 所 提升 。 尽 管 Spark SQL 的 
性 能 可 能 与 Inpala 和 Presto 不 同 ， 但 几乎 可 以 满足 对 性 能 的 需求 ， 并 能 够 在 发 生 故 障 时 提 
供 恢复 机 制 。 请 注意 ， 在 撰写 本 书 时 ，Spark SQL 架构 还 存在 一 些 缺 陷 ， 不 太 适 合用 在 多 
用 户 环境 的 商业 智能 和 分 析 工 具 中 。 


2. 执行 器 恢复 

Hive、MapReduce 和 Spark 等 系统 就 属于 这 个 类 别 。 只 要 驱动 程序 进程 没有 丢失 ， 那 么 这 
类 系统 就 会 在 丢失 执行 程序 进程 时 提供 恢复 机 制 。 换 句 话 说， 你 可 能 会 丢失 一 个 或 多 个 正 
在 执行 作业 的 任务 ， 但 只 要 驱动 程序 进程 仍 在 运行 ， 作 业 就 不 会 失败 。 


以 一 个 长 期 运行 的 作业 为 例 ， 如 大 均值 聚 类 作业 。 执 行 大 均值 聚 类 算法 的 典型 作业 将 对 数 
据 进 行 多 次 欠 代 。 这 可 能 需要 几 十 分 到 几 小 时 才能 完成 ， 有 具体 取决 于 和 迭代 次 数 、 维 度数 量 
和 数据 规模 。 显 然 ， 如 果 作 业已 经 运行 了 几 分 或 儿 小 时 ， 而 且 在 发 生 故 障 时 必须 完全 重 
启 ， 那 么 成 本 会 非常 高 。 所 幸 的 是 ， 有 了 这 种 恢复 机 制 ， 系 统 可 以 简单 地 将 失败 任务 移动 
到 新 进程 中 ， 并 重新 执行 这 个 任务 。 
















































































图 8-2 显示 了 一 个 Spark 作业 示例 ， 此 时 执行 器 发 生 了 故障 。 在 这 种 情况 下 ， 仍 然 可 以 使 
用 已 完成 任务 的 输出 结果 ， 系 统 只 需要 重新 执行 失败 的 任务 和 其 他 必要 的 任务 (作为 失败 
任务 的 输入 )。 
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DAG 恢 复 








DAG 执 行 过 程 中 发 生 故 障 
已 完成 故障 


重新 运行 或 重用 重新 运行 ET 

















\ 


By 








图 8-2: 支持 执行 器 恢复 的 系统 提供 的 恢复 机 制 


这 种 类 型 的 恢复 机 制 增加 了 处 理 引 擎 的 复杂 性 ， 但 对 长 期 运行 的 作业 来 说 是 有 利 的 ， 当 这 
些 作业 需要 满足 指定 的 SLA 时 尤为 如 此 。 


执行 器 的 恢复 也 可 能 存在 局 限 性 。 以 Spark 为 例 ， 因 为 处 理 状态 是 由 驱动 程序 负责 维护 的 ， 





所 以 ， 如 果 没 有 高 可 用 性 配置 ， 
从 头 开始 执行 作业 。 


3. 完全 作业 恢复 





一 且 驱 动 程 序 进程 丢失 ， 作 业 也 就 跟着 丢失 ， 需 要 重启 并 


完全 作业 恢复 机 制 在 流 处 理 引 擎 中 很 常见 。 这 类 引擎 包括 Flink、Spark Streaming 和 Kafka 
Streams。 流 处 理 作 业 需 要 保持 长 时 间 运 行 ( 数 周 其 至 数 月 )， 可 想 而 知 ， 这 种 恢复 机 制 有 











多 重要 。 在 这 样 长 的 运行 时 间 旦 








有 ， 故 障 是 不 可 避免 的 ， 包 括 与 驱动 程序 相关 的 故障 。 


这 些 系统 使 用 的 恢复 机 制 已 经 超出 了 本 章 的 讨论 范围 ， 但 总 体 来 说 ， 这 些 引擎 通过 检查 点 
之 类 的 机 制 来 支持 恢复 。 这 确实 需要 额外 的 开销 ， 比 如 用 来 存储 检查 点 的 持久 存储 ， 以 及 





读 写 检查 点 的 开销 。 





8.1.5 “交互 模型 

通常 ， 与 执行 引擎 的 交互 通过 代码 、SQL 或 两 者 的 组 合 来 完成 。 可 以 将 工具 分 为 以 下 几 类 。 

口 JDBC 或 ODBC 访问 
可 以 像 普 通关 系数 据 库 一 样 使 用 SQL 访问 系统 ， 并 使 用 第 三 方 的 商业 智能 和 分 析 工 具 
与 引擎 交互 。 大 多 数 支持 SQL 接口 的 工具 也 支持 这 种 类 型 的 访问 ， 例 如 Hive、Impala、 
Presto、Cassandra 和 Spark SQL (不 过 之 前 提 到 了 它 的 局 限 性 )。 





口 SQL 代码 
与 标准 关系 数据 库 类 似 ， 可 以 执行 SQL 查询 。 上 一 个 类 别 中 的 工具 几乎 也 属于 这 一 类 
别 。 这 些 引擎 中 的 大 多 数 还 支持 用 户 定义 函数 扩展 。 用 户 定义 函数 可 以 执行 引擎 非 原 生 
支持 的 复杂 查询 。 








口 非 SQL 声明 式 模型 
一 些 工 具 提 供 了 类 似 SQL 的 声明 式 编 程 接口 。 这 些 接口 可 以 用 来 表达 复杂 的 编程 任务 ， 
但 比 编写 代码 要 简单 一 些 。Apache Pig 就 是 这 种 模型 的 一 个 很 好 的 示例 ， 它 提供 了 一 种 
叫 作 Pig Latin 的 声明 式 编 程 语 言 。 尽 管 这 些 引擎 对 于 某 些 用 例 的 实现 非常 有 用 ， 但 随 
着 Spark 等 引擎 的 出 现 ， 这 些 工 具 的 使 用 量 似乎 也 在 下 降 ， 这 也 可 能 意味 着 这 方面 的 资 
源 和 开发 经 验 也 在 减少 。 因 此 ， 最 好 仔细 评估 这 些 工具 在 新 项 目 中 的 使 用 情况 。 



































口 编程 代码 
这 些 引擎 要 求 开 发 人 员 使 用 Python、Java 或 Scala 等 编程 语言 来 实现 处 理 逻 辑 。Spark、 
MapReduce 和 Flink 就 属于 这 一 类 。 








由 于 某 些 属 于 编程 代码 类 别 的 引擎 可 以 与 更 高 级 别 的 抽象 (如 SQL 抽象 ) 一 起 使 用 ， 因 此 
情况 就 变 得 有 点 复杂 。 例 如 ，Hive 实际 上 可 以 将 查询 编译 为 其 他 执行 引擎 (如 MapReduce 
或 Spark) 可 以 执行 的 代码 。 











决定 使 用 哪 种 引擎 取决 于 用 例 和 团队 的 经 验 。 如 果 是 分 析 师 在 处 理 ， 那 么 可 以 考虑 使 用 
能 够 提供 SQL 接口 的 引擎 ， 比 如 Hive。 那 些 无 法 使 用 SQL 轻松 完成 的 作业 就 可 以 使 用 
Spark 或 Flink 等 编码 引擎 来 开发 。 





8.1.6 ” 批 处 理 和 流 处 理 

最 后 一 个 类 别 与 工作 负载 类 型 有 关 。 一 般 来 说 ， 可 以 将 其 分 为 适用 于 批 处 理 作 业 的 引擎 和 
适用 于 流 处 理 作 业 的 引擎 。 批 处 理 引 擎 定期 或 一 次 性 处 理 大 量 记 录 的 作业 。 这 些 作业 通常 
需要 几 分 到 儿 小 时 才能 完成 。 流 处 理 引 警 则 旨 在 持续 地 处 理 传 和 人 事件， 并 且 通 常会 在 更 短 
的 时 间 内 产生 结果 。 
























































MapReduce 是 批 处 理 引 擎 的 一 个 典型 示例 ， 它 适用 于 需要 处 理 大 块 记录 的 作业 。 之 后 出 现 
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了 Spark， 虽 然 它 比 MapReduce 更 高 效 ， 但 仍然 以 长 时 间 运 行 的 批 处 理 作 业 为 目标 。 





流 处 理 引擎 旨 在 实现 更 加 实时 的 数据 处 理 。 这 些 引 擎 对 传 入 的 事件 流 执行 持续 的 处 理 ， 并 
以 秒 级 或 亚 秒 级 的 速度 返回 结果 。 这 类 引擎 包括 Spark Streaming、Kafka Streams、Apache 








Storm 和 Apache Heron。 














你 可 能 已 经 注意 到 ，Spark 在 批 处 理 和 流 处 理 两 种 类 别 中 都 有 提 及 。 这 是 因为 Spark 处 理 
模型 同时 支持 批 处 理 和 流 处 理 ， 尽 管 在 实现 和 部 署 方面 存在 一 些小 差异 。 此 外 ，Flink 也 同 
时 支持 这 两 种 模型 ,并且 同 样 有 一 些小 差异 。 使 用 支持 两 种 模型 的 工具 有 如 下 好 处 : 





















































只 需要 学 习 一 个 编程 接口 就 可 以 实现 批 处 理 和 流 处 理 ， 
可 以 在 批 处 理 作业 和 流 处 理 作业 之 间 重 用 代码 ， 
降低 部 署 和 管理 应 用 程序 的 复杂 性 。 





























是 选择 批 处 理 还 是 流 处 理 ， 完 全 取决 于 具体 的 用 例 。 对 于 ETL 或 机 器 学 习 应 用 程序 ， 选 择 
批 处 理 总 是 没 错 的 。 流 处 理 适用 于 需要 对 传 和 数据 做 出 几 近 实时 反应 的 作业 ， 例 如 ， 欺 诈 

















检测 系统 和 需要 基于 数据 窗口 运行 计算 的 应 用 程序 。 





需要 注意 一 些 典型 的 流 处 理 引 擎 特性 ， 其 中 一 个 是 处 理 流程 的 实现 方式 。Apache Storm 及 























其 后 继 的 Apache Heron 等 工具 采用 了 拓扑 模型 。 与 DAG 类 似 ， 


拓扑 模型 是 一 种 抽象 ， 用 


于 表示 数据 转换 图 。Spark 就 使 用 了 DAG 模型 。 主 要 区 别 在 于 如 何 使 用 不 同 的 模型 来 编写 











应 用 程序 代码 。 我 们 可 以 使 用 这 两 种 模型 来 表达 大 多 数 的 问题 ， 


引擎 时 的 主要 考虑 因素 。 












































所 以 这 可 能 不 是 选择 处 理 























另 一 个 特性 是 处 理 状 态 的 管理 方式 。Storm 等 工具 在 内 存 中 管理 处 理 状态 ， 如 果 要 进行 持 
入 化 状态 管理 ， 需 要 做 一 些 额 外 的 工作 。Spark 等 工具 为 状态 管理 提供 了 更 好 的 支持 ， 如 














林 进 程 丢 失 ， 可 以 进行 故障 恢复 ， 相 关 的 数据 还 保留 在 内 存 中 。 


8.2 ”数据 处 理 演 变 


























可 以 从 某 个 角度 来 回顾 一 下 数据 处 理 管理 系统 在 过 去 儿 十 年 的 演变 过 程 。 某 些 细 市 可 能 存在 














。 关系 数据 库 


一 、 












































争议， 不 过 图 8-3 很 好 地 说 明了 这 种 演变 。 从 数据 管理 的 角度 来 看 ， 演 变 过 程 包括 以 下 方面 。 
单 节 点 RDBMS) 在 20 世纪 70 年代 开 始 出 现 。 
单 台 服 务 器 上 运行 ， 并 且 只 管理 这 些 服务 器 可 容纳 的 数据 量 。 
因为 需要 管理 更 大 的 数据 量 ， 所 以 出 现 了 分 布 式 数据 库 。 

















这 些 早期 的 数据 库 通常 在 





它们 以 大 规模 并 行 处 理 





(massively parallel processing，MPP) 数据 库 为 代表 ， 如 Teradata 和 Vertica。 








。 随 着 数据 量 和 数据 类 型 的 不 断 增长 ， 不 管 是 在 技术 层面 还 是 在 经 济 层 面 ，MPP 系统 对 
于 很 多 工作 负载 来 说 都 已 经 不 切实 际 了 ， 于 是 出 现 了 新 的 数据 管理 系统 ， 如 Hadoop、 








Cassandra 等 。 
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随 着 数据 管理 和 存储 方式 的 变化 ， 数 据 处 理 方式 也 在 变化 。 

。 数据 集成 需求 (比如 移动 和 转换 数据 ) 带 来 了 ETL 工具 的 发 展 ， 这 些 工具 被 用 来 实现 
和 自动 化 数据 集成 流程 。 

。 与 数据 存储 一 样 ， 随 着 时 间 的 推移 ， 数 据 量 和 数据 源 种 类 在 增加 ， 因 此 ， 出 现 了 新 框架 
来 执行 高 效 的 数据 并 行 处 理 ， 例 如 MapReduce 和 Spark。 这 些 框架 将 ETL 处 理 从 传统 
的 数据 管理 系统 和 专 有 工具 转移 到 了 新 的 开源 分 布 式 系统 上 。 


单 节点 基本 的 流 
RDBMS ETL 脚 本 处 理 作业 


规模 和 需要 规模 化 
成 本 增长 和 部 团 





















































大 规模 并 行 处 理 数据 库 


ETL 处 理 


系统 





可 以 在 廉价 机 器 上 引入 Kafka 
处 理 任何 数据 















































将 数据 库 元 数据 
应 用 到 大 数据 中 MapReduce 
全 面 改 进 升级 
要 求 有 大 规模 
并 行 处 理 经 验 


高 并 发 低 延 迟 的 专注 于 结构 

“SQL 奉 询 引擎 和 优化 Spark Streaming 
成 训 度 和 
Snowflake 


Hive Spark 


低 延 迟 

















图 8-3: 数据 处 理 的 演变 
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流 处 理 系 统 的 出 现 和 演化 也 是 开源 数据 管理 工具 发 展 的 一 部 分 。Apache Storm 和 之 后 的 
Spark Streaming 都 是 早期 的 例子 。 如 今 有 很 多 功能 强大 的 工具 可 用 于 执行 几 近 实时 的 流 处 
理 ， 而 这 在 以 前 只 有 昂贵 的 专 有 人 解决 方案 才能 做 到 。 


在 此 期 间 ， 可 靠 且 有 效 的 存储 和 转换 一 直 是 常态 需求 。 与 现在 相 比 ， 最 大 的 不 同 是 规模 上 
的 巨大 变化 ， 我 们 已 经 从 单 节 点 数据 库 发 展 到 可 以 支持 数 千 个 市 点 并 且 每 天 处 理 数 百 万 到 
数 十 亿 条 记录 的 系统 。 这 种 规模 在 儿 十 年 前 是 不 可 想象 的 。 


此 外 ， 我 们 已 经 从 只 有 儿 个 主要 数据 管理 软件 供应 商 的 世界 进入 了 拥有 大 量 选 择 的 世界 ， 
其 中 包括 像 Oracle 和 IBM 这 样 的 大 型 供应 商 ， 以 及 其 他 的 开源 项 目 和 供应 商 。 云 供应 商 
的 出 现 进一步 拓宽 了 数据 管理 的 版 图 。 























































































































8.3 ”小结 


本 章 提供 了 一 些 指南 ， 用 于 根据 并 行 处 理 引 擎 的 特征 来 评估 处 理 框 架 。 这 些 特征 如 下 
所 述 。 








引擎 对 执行 计划 定义 的 支持 ， 特 别 是 在 实现 应 用 程序 时 是 否 支持 DAG 定义 。 在 实现 更 
复杂 的 处 理 流程 时 ， 支 持 DAG 定义 是 一 个 重要 的 考虑 因素 。 

。 执行 引擎 的 隔离 模型 。 这 可 能 会 影响 工具 的 性 能 ， 在 多 租户 环境 中 尤为 如 此 。 
工具 的 性 能 特征 。 性 能 不 只 是 指引 擎 的 原始 速度 。 例 如 ， 革 个 特定 引擎 可 以 快速 地 运行 
查询 ， 但 不 提供 很 好 的 容错 机 制 。 

。 在 性 能 和 容错 的 权衡 方面 ， 不 同 的 引擎 提供 了 不 同 的 机 制 来 处 理 作业 故障 。 当 作业 出 
现 部 分 故障 时 ， 某 些 工 具 为 作业 继续 运行 提供 了 强大 的 支持 ， 而 其 他 工具 需要 完全 重新 
启动 作业 。 

用 户 与 引擎 的 交互 方式 。 他 们 可 以 直接 执行 SQL 查询 ， 还 是 需要 编写 代码 ?这 个 考虑 
因素 很 重要 ， 有 具体 取决 于 团队 成 员 的 背景 和 掌握 的 技能 。 

工具 是 否 为 批 处 理 或 流 处 理 〈 或 两 者 兼 有 ) 而 设计 。 一 般 来 说 ， 这 两 个 模型 适用 于 不 同 
的 用 例 。 因 此 ， 在 选择 引擎 来 实现 特定 的 用 例 时 ， 这 是 一 个 重要 的 考虑 因素 。 


总 体 来 说 ， 除 了 上 述 孝 虑 因素 ， 处 理 引 敬 的 选择 在 很 大 程度 上 也 会 受到 团队 技能 的 影响 。 







































































如 果 拥 有 一 个 分 析 师 团队 ， 他 们 需要 高 效 地 执行 分 析 查 询 ， 那 么 像 Impala 或 Presto 这 
样 的 工具 可 能 是 不 错 的 选择 。 

如 果 开 发 人 员 可 以 熟练 使 用 SQL 实现 ETL 作业 ， 那 么 需要 一 个 支持 容错 且 基 于 SQL 
的 引擎， 因此 Hive 或 Spark SQL 可 能 比 Impala 或 Presto 更 合适 。 

如 果 Java 或 Scala 开发 人 员 需 要 实现 复杂 的 机 器 学 习 算 法 ， 那 么 最 好 选择 可 以 实现 复杂 
批 处 理 作 业 的 工具 ， 如 Spark 或 Flink。 























希望 你 能 够 将 本 章 提供 的 指南 与 用 例 相 结合 ， 找 到 合适 的 工具 来 满足 数据 项 目的 处 理 需 求 。 
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他 在 暴雪 娱乐 公司 担任 全 球 视野 工程 总 监 ， 负 责 为 《魔兽 世界 》《 守 望 先 锋 》 和 《 炉 石 传 
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他 是 Cloudera 的 解决 方案 架构 师 ， 与 合作 伙伴 一 起 将 他 们 的 解决 方案 与 Cloudera 的 软件 栈 
集成 在 一 起 。 在 加 入 Cloudera 之 前 ， 他 是 Orbitz Worldwide 大 数据 团队 的 技术 负责 人 ， 负 
责 为 一 个 流量 巨大 的 网 站 管理 Hadoop 集群 。 他 也 是 艺 加 哥 Hadoop 用 户 组 和 芝加哥 大 数据 
线 下 活动 的 联合 创始 人 、《Hadoop 应 用 架构 》 合 著者 、《Hadoop 硬 实战 》 技 术 编 辑 ， 并 曾 
经 在 与 Hadoop 和 大 数据 相关 的 多 个 行业 大 会 上 发 表演 讲 。 


关于 封面 
本 书 封 面 上 的 动物 是 白头 牛 文 鸟 (Dinemellia dinemelli) 和 黄 胸 织 布 鸟 (Ploceus philippinus)， 
它们 属于 文 鸟 科 。 这 一 科 的 鸟 类 俗称 “ 织 工 ”， 因 为 它们 用 树枝 和 树叶 纤维 等 天 然 材料 编织 





白头 牛 文 鸟 生活 在 非洲 ， 它 们 习惯 以 被 非洲 水 牛 惊扰 的 昆虫 为 食 ， 并 因此 而 得 名 。 除 了 昆 
虫 之 外 ， 和 白头 牛 文 鸟 还 以 水 果 和 种 子 为 食 。 它 们 成 群 结 队 地 砚 食 ， 具 有 很 强 的 群居 属性 。 


黄 胸 织 布 鸟 生活 在 印度 和 东南 亚 ， 它 们 在 树枝 上 筑 业 ， 莫 呈 管 状 。 和 和 白头 牛 文 鸟 一 样 ， 黄 
胸 织 布 鸟 也 会 成 群 结 队 地 砚 食 。 它 们 以 大 米 等 谷物 为 食 ， 因 此 在 印度 部 分 地 区 被 列 为 农业 


害虫 。 


OReilly 图 书 封面 上 的 很 多 动物 濒临 灭绝 ， 它 们 是 这 个 世界 所 剩 无 几 的 瑰宝 。 如 果 想 了 解 
如 何 为 这 些 动物 提供 帮助 ， 请 访问 animals.oreilly.com。 


白头 牛 文 鸟 的 图 片 来 自 Wood3 Animate Creation， 黄 胸 织 布 乌 的 图 片 来 自 Cassells Natural History。 
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灵 社 区 ituring.com.cn 





最 前 沿 的 IT 类 电子 书 发 售 平台 


电子 出 版 的 时 代 已 经 来 临 。 在 许多 出 版 界 同 行 还 在 犹豫 衍 香 的 时 候 ， 图 灵 社 区 已 经 采取 实 
际 行动 拥抱 这 个 出 版 业 巨 变 。 作 为 国内 第 一 家 发 售 电子 图 书 的 IT 类 出 版 商 ， 图 灵 社 区 目前 为 读者 
提供 两 种 DRM-free 的 阅读 体验 : 在 线 阅 读 和 PDF。 

相 比 纸 质 书 ， 电 子 书 具 有 许多 明显 的 优势 。 它 不 仅 发 布 快 ， 更 新 容易 ， 而 且 尽 可 能 采用 了 彩 
色 图 片 ( 即使 有 的 书 纸 质 版 是 黑白 印刷 的 )。 读 者 还 可 以 方便 地 进行 搜索 、 剪 贴 、 复 制 和 打印 。 
图 灵 社 区 进一步 把 传统 出 版 流程 与 电子 书 出 版 业务 紧密 结合 ， 目 前 已 实现 作 译 者 网 上 交 
稿 、 编 辑 网 上 审 稿 、 按 章 发 布 的 电子 出 版 模式 。 这 种 新 的 出 版 模式 ， 我 们 称 之 为 “敏捷 出 
版 ”， 它 可 以 让 读者 以 较 快 的 速度 了 解 到 国外 最 新 技术 图 书 的 内 容 ， 弥 补 以 往 翻 译 版 技术 书 
“出 版 即 过 时 ”的 缺憾 。 同 时 ， 敏 捷 出 版 使 得 作 、 译 、 编 、 读 的 交流 更 为 方便 ， 可 以 提前 消灭 
书稿 中 的 错误 ， 最 大 程度 地 保证 图 书 出 版 的 质量 。 





































































































优惠 提示 : 现在 购买 电子 书 ， 读 者 将 获 赠 书 款 20% 的 社区 银子 ， 可 用 于 部 换 纸 质 样 书 。 





最 方便 的 开放 出 版 平台 


图 灵 社 区 向 读者 开放 在 线 写 作 功 能 ， 协 助 你 实现 自 出 版 和 开源 出 版 的 梦想 。 利 用 “合集 ” 
功能 ， 你 就 能 联合 二 三 好 友 共 同 创作 一 部 技术 参考 书 ， 以 免费 或 收费 的 形式 提供 给 读者 。( 收 
费 形式 须 经 过 图 灵 社 区 立项 评审 。 ) 这 极 大 地 降低 了 出 版 的 门槛 。 只 要 你 有 写作 的 意愿 ， 图 灵 
社区 就 能 帮助 你 实现 这 个 梦想 。 成 熟 的 书稿 ， 有 机 会 入 选 出 版 计划 ， 同 时 出 版 纸 质 书 。 

图 灵 社 区 引进 出 版 的 外 文 图 书 ， 都 将 在 立项 后 马上 在 社区 公布 。 如 果 你 有 意 翻译 哪 本 图 
书 ， 欢 迎 你 来 社区 申请 。 只 要 你 通过 试 译 的 考验 ， 即 可 签约 成 为 图 灵 的 译 者 。 当 然 ， 要 想 成 功 
地 完成 一 本 书 的 翻译 工作 ， 是 需要 有 坚强 的 毅力 的 。 































































































最 直接 的 读者 交流 平台 


在 图 录 社 区 ,你 可 以 十 分 方便 地 写作 文章 、 提 交 勘 误 、 发 表 评 论 ， 以 各 种 方式 与 作 译 者 、 
编辑 人 员 和 其 他 读者 进行 交流 互动 。 提 交 勘误 还 能 够 获 赠 社区 银子 。 

你 可 以 积极 参与 社区 经 常 开展 的 访谈 、 乐 译 、 评 选 等 多 种 活动 ， 启 取 积 分 和 银子 ， 积 累 个 人 
所 王 
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微 信 连 接 





回复 “大 数据 ”查看 相关 书 单 


© 
微 博 连接 
关注 @ 图 灵 教 育 每 日 分 享 上 T 好 书 


全 
QQ 连接 


图 灵 读 者 官方 群 I: 218139230 
图 灵 读 者 官方 群 [I[: 164939616 
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iTuring.cn 
在 线 出 版 , 电子 书 ,《 码 农 》 杂 志 , 图 灵 访 谈 
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大 数据 项 目 管理 从 规划 到 实现 


许多 公司 会 在 大 数据 项 目的 实施 细节 上 下 很 多 功夫 ， 例 如 研究 分 布 
式 处 理 引 擎 和 数据 分 析 算 法 。 这 并 没有 错 ， 但 不 要 因为 一 棵 树 而 错 
过 整 片 森林 。 本 书 将 为 你 打开 更 广阔 的 视野 ， 展 示 如 何 从 大 数据 项 
目的 规划 阶段 开始 ， 一 步 步 走向 成 功 。 无 论 是 首席 信息 官 、 首 席 
技术 官 、 项 目 经 理 ， 还 是 架构 师 和 开发 人 员 ， 都 能 通过 本 书 得 到 
启迪 。 


目 开始 规划 : 思考 大 数据 项 目的 主要 类 型 
目 评估 和 选择 数据 管理 解决 方案 

加 降低 与 技术 、 团 队 、 需 求 相 关 的 风险 
目 探索 良好 的 接口 设计 模式 

卓 为 项 目 选择 合适 的 分 布 式 存储 系统 

日 规划 和 实施 元 数据 收集 

卓 使 用 数据 管道 确保 数据 完整 性 

目 根据 并 行 处 理 引擎 的 特征 评估 处 理 框 架 





特 德 马 拉 斯 卡 (Ted Malaska) ， 
Capital One 的 企业 架构 主管 ， 曾 
在 暴雪 娱乐 公司 担任 全 球 视野 工 
程 总 监 ， 负 责 为 《魔兽 世界 》 
《守望 先锋 》 《 炉 石 传说 》 等 游 
戏 提供 支持 。 他 为 众多 开源 项 目 
贡献 过 代码 ， 并 与 塞 德 曼 等 人 合 
著 有 《Hadoop 应 用 架构 》。 


乔纳森 ' 塞 德 曼 (Jonathan 
Seidman) ，Cloudera 云 计算 团队 
的 软件 工程 师 。 在 加 入 Cloudera 
之 前 ， 他 是 Orbitz Worldwide 大 数 
据 团 队 的 技术 负责 人 ， 负 责 为 一 
个 流量 巨大 的 网 站 管理 Hadoop 
集群 。 塞 德 曼 与 马 拉 斯 卡 等 人 合 
著 有 《Hadoop 应 用 架构 》。 
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看 完了 


如 果 您 对 本 书 内 容 有 疑问 ， 可 发 邮件 至 contact@turingbook.com， 会 有 编辑 
或 作 译 者 协助 答疑 。 也 可 访问 图 灵 社 区 ， 参 与 本 书 讨 论 。 


如 果 是 有 关 电 子 书 的 建议 或 问题 ， 请 联系 专用 客服 邮箱 : 


ebook@turingbook.com。 
在 这 可 以 找到 我 们 : 


微 博 @ 图 灵 教育 : 好 书 、 活 动 每 日 播报 

微 博 @ 图 灵 社 区 : 电子 书 和 好 文章 的 消息 

微 博 @ 图 灵 新 知 : 图 灵 教 育 的 科普 小 组 

微 信 图 灵 访 谈 : ituring_interview， 讲 述 码 农 精彩 人 生 
微 信 图 灵 教 育 : turingbooks 


